搜索引擎理论对于seo的重要性，如果一个seoe再懂得于搜索引擎原理，会让你更好的做好seo，经常一些公司在招聘的时候，经常会提问到原理性的问题。
要想学好网站优化这个技术，还要了解搜索引擎蜘蛛的原理：
1、蜘蛛（百度的是：baiduspider 谷歌的是:googbot）又称为爬虫，只是叫法不一样。可理解为：搜索引擎的一个程序。搜索引擎程序(以下称为“蜘蛛”)它到了你的网站，去到爬行，然后把结果反馈给搜索引擎服务器。蜘蛛在爬行网站的时候，最先检测网站根目录下的robots.txt文件，因为蜘蛛都会遵循这个原则，蜘蛛会检测你robots下的文档里有哪些东西允许抓取，有哪一些不允许抓取。如果你的网站有哪些不让蜘蛛抓取，可以在robots里写出。通常，只要在robots文档里，一个星期左右的时间才会生效。
2、蜘蛛根据网站robots文件允许收录的网站，根据网站的链接开始爬行，蜘蛛会一沿着一个接一个往下爬，为避免程序问题，通常蜘蛛抓取的深度为5层以上。在做网站优化过程中，蜘蛛一直沿着链接抓取。以前强调锚文本的重要性，在这里可以发挥出它的效果，每抓取一次，就给下我们网站的权重
3、蜘蛛为了重复抓取网址，它会生成一个地址库，记录地址库服务中，记录还没抓取的页面，以及过滤敏感关键词页面
4、蜘蛛根据抓取的内容，做分词处理，按照算法对文章进行索引编号，存在自己的服务器上，用户进行搜索的时候，按照一样的规则显示出来 。
吸引蜘蛛，根据我的经验，只要网站的外链资源够多（注：高质量外链），留的入口够多，那么蜘蛛来网站抓取的次数就越多.
