做过SEO或站长的都应该知道，网站要想做排名就必须使网站文章先收录，而网站内容收录由跟搜索引擎蜘蛛的来访抓取有很大的关系。

搜索引擎蜘蛛，又被称为网页爬虫，网络机器人，在FOAF社区中间，也经常被称为网页追逐者，是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。另外它还有一些不常使用的名字，如：蚂蚁，自动索引，模拟程序或者蠕虫。那么，对于一个网站来说，是不是来网站爬行的搜索引擎蜘蛛越多越好呢？

一、搜索引擎蜘蛛抓取网页的原理

关于搜索引擎获得网页的工具，是一款爬行程序(俗称蜘蛛)，蜘蛛程序每天都会爬行大量的网页，并将一些新的网页信息带到服务器以便进行网页索引的建立。

为了使大家找到适合自己网站的搜索引擎蜘蛛，马海祥也特意整理了一份最新的各大搜索引擎蜘蛛名称(大家要注意下写法的不同点，特别是大小写)：

1、百度蜘蛛：Baiduspider

网上的资料百度蜘蛛名称有BaiduSpider、baiduspider等，那是旧黄历了。百度蜘蛛最新名称为Baiduspider，我通过对马海祥博客日志的检查还发现了Baiduspider-image这个百度旗下蜘蛛，是抓取图片的蜘蛛。

常见百度旗下同类型蜘蛛还有下面这些：Baiduspider-mobile(抓取wap)、Baiduspider-image(抓取图片)、海外网站推广Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)。

2、谷歌蜘蛛：Googlebot

这个争议较少，但也有说是GoogleBot的，谷歌蜘蛛最新名称为“compatible;Googlebot/2.1;”，不过，我还在马海祥博客的日志中发现了Googlebot-Mobile，看名字是抓取wap内容的。

3、360蜘蛛：360Spider

它是一个很“勤奋抓爬”的蜘蛛。

4、SOSO蜘蛛：Sosospider

5、雅虎蜘蛛：“Yahoo!SlurpChina”或者Yahoo!

6、有道蜘蛛：YoudaoBot，YodaoBot

7、搜狗蜘蛛：SogouNewsSpider

另外，马海祥还发现搜狗蜘蛛还包括以下这些：Sogouwebspider、Sogouinstspider、Sogouspider2、Sogoublog、SogouNewsSpider、SogouOrionspider。

8、MSN蜘蛛：msnbot，msnbot-media

9、必应蜘蛛：bingbot，线上(compatible;bingbot/2.0;)

10、一搜蜘蛛：YisouSpider

11、Alexa蜘蛛：ia_archiver

12、宜搜蜘蛛：EasouSpider

13、即刻蜘蛛：JikeSpider

14、济南网站优化抓取网站的搜索引擎蜘蛛是不是越多越好一淘网蜘蛛：EtaoSpider

根据上述蜘蛛中选择几个常用的允许抓取，外贸网络推广其余的都可以通过robots屏蔽抓取，如果你的空间流量还足够使用的话，那就不用做屏蔽了，等流量紧张了就保留几个常用的屏蔽掉其它蜘蛛以节省流量。

至于那些蜘蛛抓取对网站能带来有利用的价值，网站的管理者应该是最清楚的。

另外，马海祥还发现了YandexBot、AhrefsBot和ezooms.bot这些蜘蛛，据说这些蜘蛛国外的，对中文网站用处很小。

其实对于我们站长来说，有效并且常用的搜索引擎就那么几个，只要在robots.txt文件里把常用的几个搜索引擎蜘蛛允许放行就好了，其它的爬虫统统通过通配符()禁止掉，或单独屏蔽某些蜘蛛（具体方式我也在马海祥博客的《robots协议文件的写法及语法属性解释》一文中跟大家做过详细的介绍，有兴趣的朋友可以看下）。

马海祥博客点评：

对于搜索引擎来说，使用搜索引擎蜘蛛不断的收集最新数据，主要用于提供它访问过页面的一个副本，然后，搜索引擎就可以对得到的页面进行索引，以提供快速的访问。蜘蛛也可以在web上用来自动执行一些任务，例如检查链接，确认html代码；也可以用来抓取网页上某种特定类型信息，例如抓取电子邮件地址（通常用于垃圾邮件）。

本文为马海祥博客原创文章，如想转载，请注明原文网址摘自于，注明出处；否则，禁止转载；谢谢配合！