Robots.txt 文件应放在哪里？

作者:admin 日期:2009-08-01

Robots.txt 文件必须放在网站的根目录。放在子目录的 Robots.txt 文件搜索引擎不能爬取到，所以不会起任何作用。

例子：

http://www.cnsysoft.com/robots.txt 有效

http://www.cnsysoft.com/bbs/robots.txt 无效

分类:SEO | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 306

什么是robots.txt文件?

搜索引擎机器人通过链接抵达互联网上的每个网页，并抓取网页信息。搜索引擎机器人在访问一个网站时，会首先检查该网站的根目录下是否有一个叫做robots.txt的纯文本文件。当我们的网站有一些内容不想被搜索引擎收录，我们可以通过设置robots.txt文件告知搜索引擎机器人。

如果网站上没有禁止搜索引擎收录的内容，则不用设置robots.txt文件，或设置为空。

分类:SEO | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 286

robots.txt是什么？

有没有想过，如果我们某个站点不让百度和google收录，那怎么办？

搜索引擎已经和我们达成一个约定，如果我们按约定那样做了，它们就不要收录。

这个写约定的的文件命名为:robots.txt。

robots.txt是一个最简单的.txt文件，用以告诉搜索引擎哪些网页可以收录，哪些不允许收录。

分类:SEO | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 204