李彦宏的网页蜘蛛，网络机器人，是一种按照一定的规则，自动的抓取网络信息的仿生智能程序。智能过程由控制器，解析器，资源库三部分组成。控制器，是负责给多线程中的各个爬虫线程分配工作任务。解析器，是下载网页，进行页面的处理，将一些JS脚本标签、CSS代码内容、空格字符、HTML标签等内容处理掉。爬虫的基本工作是由解析器完成。资源库是用来存放下载到的网页资源，通常都是采用大型的数据库存储系统建立索引。

与蜘蛛结缘的李彦宏，开发了基于仿生学的人工智能百度蜘蛛，为百度帝国建立创造了传奇的神话，她是百度搜索引擎的一个自动程序。是访问互联网上的网页、图片、视频等内容，建立索引数据库，使用户能在百度搜索引擎中搜索到网站的网页、图片、视频等内容。百度蜘蛛来不来网站爬行以及爬行的频率直接影响到网站的排名、权重等。

建设网站的目的就是为了宣传和推广。如何能蜘蛛更快的爬行网站，抓取网站内容成了网站推广的重头戏。

1、制作网站地图

通过制作网站XML和HTML地图，网站地图列出网站最重要的内容，并屏蔽掉那些不需要蜘蛛索引和收录的内容;从而帮助蜘蛛更快的找到网站重点内容；

2、压缩网站页面

在不影响网站布局和内容的情况下，最大限度的压缩去除作用不大的东西，可以有效的加快网页打开速度，便于蜘蛛抓取索引。

3、主动提交站点URL、

广泛的向各个网站提交网址，有助于更快速的让蜘蛛爬行你的网站。

4、增加网站内容

蜘蛛喜新厌旧，新站靠坚持，老站靠稳定。新站没有什么内容，前期要坚持每天给网站更新原创内容，老站可能排名什么都比较稳定了，只需每周更新个2、3篇文章就可以了。值得注意的是，老网站不要以为什么都做好了就不再去更新了，当蜘蛛前来的造访的时候看不到新鲜东西，下次就不会来了。不管新站还是老站都要靠增加网站内容来更好的吸引蜘蛛前来才行。

5、外链

新站靠广，老站靠质，经常做论坛发帖、论坛签名、分类信息、百度平台。新网站不能光靠有质量还要广，不论什么样的外链都做一些，让蜘蛛更有效率的爬行网站。

6创新

互联网+时代，不论做什么事情都要有创新，不管是新站还是老站都要有自己的观点。想让自己的网站成为业界关注的焦点，更好的打造自己的品牌，唯有不断创新才能获得蜘蛛的青睐。