搜索引擎爬虫列表
作者:admin 日期:2009-08-14
搜索引擎是人们再熟悉不过的工具，它将Internet上的信息索引起来，方便人们在海量数据中迅速查找有用的信息。而搜索引擎公司，国外以 Google为代表，国内以百度为代表，成为互联网上举足轻重的公司，其访问量也远远超过传统门户网站，成为网民最离不开的网络服务。而遇到问题 “Google一下”或者“百度一下”也成为人们日常生活中的习惯。
而对于网站建设者而言，也会经常与搜索引擎打交道，这就是Search Engine Spiders（网络爬虫，或者叫搜索引擎蜘蛛，网页爬取机器人等）。这些Spider爬虫蜘蛛会经常光顾各个网站，将网站上的最新内容爬取下来，并编入索引库中。以下是一些常见的搜索引擎蜘蛛列表：
高强度爬虫程序
Baiduspider+(+http://www.baidu.com/search/spider.htm)
百度爬虫
高强度爬虫，有时会从多个IP地址启动多个爬虫程序！
由于算法问题，百度爬虫对相同页面会多次发出请求（尤其是首页），令人烦恼。
推广效果好。
百度蜘蛛饲养技巧
作者:admin 日期:2009-07-26
首先我阐明自己的观点：seo不仅是一种技术更是一种思想。
结合我个人建站的经验我来谈谈如何饲养好百度蜘蛛。
分析一下，要想百度蜘蛛经常光顾自己的站，首先要先把蜘蛛引过来。怎么引?最简单的办法是你自己创造个关键字，注意要保证关键字的唯一性(如：得开旗胜)，百度搜索到的结果相关性要低。那关键字要在你首页出现，而且有相关解释，目的是围绕关键字做相关内容。然后去百度更新快的地方，发布相关信息。 你发表的文章要围绕你创造的关键字写，关键字可以使用一两次加粗，色彩，或者下划线等，关键字连接到你首页地址，内容里再加一两次你首页地址(传说中的软文)。 最关键字加好了，信息也发布了，最关键的就是要触发百度检测数据库，使百度蜘蛛会顺着那些新内容找到你首页!怎么触发?还用问吗?刚做的关键字，具有唯一性，而且相关性低。如果有人搜索那关键字，百度蜘蛛检索时候会优先考虑最合适的页面，也许百度暂时没显示收录你的站，但是百度蜘蛛肯定已经闻风而动了。
