作为站长们无人不知 Robots文件，而它的作用具有有那些，很多人只知道它仅是一种协议，而针对于它的真正作用点就仅限于屏蔽错误页面了而已，当然这只是青秦营养软件中心站长跟一些朋友交流他们得出来的结论。但是，真的是这样的嘛？
其实，笔者想在这里给大家做一详细解说，希望 Robots文件它的作用发挥到极致。既然笔者这么说了，很明显， Robots文件不仅仅局限与屏蔽错误页面这么简单的作用，它的作用可以说对于我们站长网站来说作用很大，而且在网站优化中起到了不可缺少的一部分。
闲话不多说，在这里笔者就将其真正的作用在这里给大家进行解说。在介绍 Robots文件作用之前，我们先了解一下 Robots的基本概念。 Robots是网站和搜索引擎之间的一个协议。看到“协议”这2个字嘛，它仅只是协议，与命令是有差别的。协议是在搜索引擎抓取网站后一段时间才会生效，而命令则是立马就生效的。因此要完全区分该2者之间的作用。有的站长常常遇到这样的情况，当他昨天才做了 Robots，就问为什么我的网站做了Robots搜索引擎还在抓取网站信息，其实就是因为大家做的 Robots还未生效所致。
或许作为初步学习的站长朋友不是很明白，我在这里给大家介绍一下搜索引擎爬虫的原理。当蜘蛛下载一个网页;它就会保存一个txt纯文本，就是那个快照缓存文本。爬虫还会提取一些标记和标签。他把站外的链接和内部链接进行分开然后再次抓取。就是这样来连接整个互联网。这个就是一个爬去原理。这就出现了一个问题，如果我们不想让爬虫爬取我们网站的某一个页面，那怎么办呢？这时候我们就能运用到Robots协议。这也是Robots协议产生的具体原因。
说了这么多，朋友会问，那么Robots协议到底运用到网站那块呢？下来我就将我了解的几点给大家进行整理：
1、屏蔽无内容页
作为Robots协议第一条就是可以屏蔽无内容页面。无内容页面是什么？比如说：我们网站的登陆页，打印页，个人信息页，商城的购物页、登陆页等等。为什么要屏蔽无内容页面？作为站长应该知道无内容页面会分散网站整体的权重、关键词的排名。
2、屏蔽si链接
网站大量的si链接对于网站的影响想必站长们都清楚，我就在这里不多说了。而唯一可以解决这些链接的方法就是对其进行robots屏蔽。
3、屏蔽重复页
所谓重复页面，就是页面的简写版本以及空评论页，再或者多个路径可以打开同一页面，等等重复页面。重复的页面对于站内页面的质量也是会受到非常严重的影响的。比如我们的评论页面。内容毫无意义，对于网站来说反而有很大的影响。
以上是由青秦营养软件中心站长根据自身的一些观点进行整理，还望与大家一同交流，有什么好的意见、建议望大家提出来，让我们的网站发展的越来越好！！！
