Robots.txt 文件应放在哪里？

Robots.txt 文件必须放在网站的根目录。放在子目录的 Robots.txt 文件搜索引擎不能爬取到，所以不会起任何作用。

例子：

http://www.cnsysoft.com/robots.txt    有效

http://www.cnsysoft.com/bbs/robots.txt     无效

如果你不能控制根目录的 robots.txt，则你可以通过在子目录网页中使用标签阻止网页被收录。

阅读本文的人还阅读

robots.txt文件有什么必要？

robots.txt

文章来自: 本站原创
引用通告: 查看所有引用 | 我要引用此文章
Tags: robots.txtrobots.txt
相关日志: