ThinkSOA

一：百度蜘蛛
baidu的蜘蛛的名字：baiduspider 
访问互联网上的html网页，建立索引数据库，使用户能在百度搜索引擎中搜索到您网站的网页。
更多请了解-百度百科-百度蜘蛛

二：Google的机器人，爬虫
Google的蜘蛛的名字：Googlebot
Googlebot 是Google 的web 抓取漫游器。它从web上收集文档，为Google搜索引擎建立可搜索的索引。

三：腾讯Soso的蜘蛛的名字：Sosospider
SOso已经采用独立的引擎技术，未来在中过搜索引擎行业的竞争力是蛮巨大的，很看好SoSo

四：Yahoo的蜘蛛的名字：Yahoo Slurp
Yahoo做了一个很可惜的决定，希望雅虎能坚持做下去。

五：搜狗的蜘蛛名称：sogou spider （Sogou+web+spider 网页蜘蛛）

六：有道的蜘蛛名称：YodaoBot

七：Live综合索引蜘蛛：MSNBot
对于每个搜素引擎蜘蛛上述的并不完全是蜘蛛，比如以下的列表更详尽的Google机器人

GooglebotGoogle对一般网页的索引蜘蛛
Googlebot-MobileGoogle对于移动设备，如手机网页的索引蜘蛛
Googlebot-ImageGoogle专门用来抓取图片的蜘蛛
Mediapartners-Google这是Google专门为放置了Google Adsense广告联盟代码的网站使用的专用蜘蛛，只有网站放置了Google Adsense代码的情况下，Google才会使用这个蜘蛛。这个蜘蛛的作用是专门抓取Adsense广告内容
Adsbot-Google这是Google专门为Google Adwords客户设计的蜘蛛，如果你使用了Google的Adwords服务，那么这个蜘蛛就会派出这个蜘蛛来衡量放置了你广告的网站的质量。
通过对于各搜索引擎蜘蛛的了解，无论对于蜘蛛爬行自己站点的情况进行了解而且就对屏蔽蜘蛛爬行也是十分的必要的，对于每种蜘蛛都有很多内容。