此规则不适用于对用户关闭的

htossain998

则应将它们合并。机器人自我合并不会有任何问题，但从文件易用性的角度来看，这样做也更好。 糟糕的是： 用户代理：bot 禁止：/admins-panel …。 用户代理：bot 允许：/blog 美好的： 用户代理：bot 不允许：/admins-panel 允许：/blog 73 为不同的子域创建单独

的 Robotstxt 文件 当推广上千个页面、几十个子域名的大型项目时，需要对每个目录分别进行优化。事实上，对于搜索引擎来说，子域就是一个新站点。 Robotstxt 可以是模板，但必须放置在搜索中推广的所有子域的根目录中。技术子域。 74 具体以尽量减少可能的错所有重要页 电话号码清单 面的链接非误 很多时候，互联网项目的所有者会遇到阻止访问页面和部分的问题。这通常是由于错误使用斜杠和其他通配符造成的。 几乎每个网站管理员都知道 robots txt 是什么，但在创建




规则时，许多人都会犯严重错误。这会影响索引和排名。 例如，有必要限制对带有 /es 前缀的页面的访问，因为该目录正在开发中。在这种情况下，斜杠的正确使用会影响结果。 糟糕的是： 用户代理：* 禁止：/es 美好的： 用户代理：* 禁止：/es/ 在第二种情况下，属于相应目录的所有页面都受到限制。在第一种情况下，所有存在 es 结构的地址都可能出现问题。 75。使用注释向人们解释您的 Robotstxt 文件 搜索引擎蜘蛛会忽略任何使用哈希符号的行。注释允许网站管理员浏览文档结构。