次　　在seo优化中，robots协议书一直是提升工作人员高度重视的关键点，要想网址可以有高些的爬取和排行，此协议书也具有非常大的功效，那麼robots协议书是什么呢?它对网址的SEO有什么作用和益处呢?下边一起来了解一下。

　　一、什么叫robots协议书?

　　robots协议书全名“爬虫技术清除规范”，又被称为爬虫协议、智能机器人协议书等，它要求着百度搜索引擎爬取网址时能够爬取的內容，是爬虫技术爬取网址时第一个必须浏览的文档，该文件坐落于网址的根目录下，文件夹名称是robots.txt 。

　　二、robots协议书在SEO中的功效是啥?

　　robots协议书是来用以维护网址的隐私保护，来避免 网址关键的信息内容被泄漏，对网站安全性具有一定的功效。另外，robots协议书也可以让爬虫技术有效地爬取网址内資源，这就需要提升工作人员开展有效的设定robots协议书文档了，能够将网址不重要的內容、控制模块等开展屏蔽掉，让搜索引擎蜘蛛爬取和爬取大量有使用价值高品质的內容和网页页面，进而提高高排行的概率。

　　除此之外，robots协议书还能够用以屏蔽掉一些网址中较为大的文档，例如照片、歌曲、视頻等，协助网址节约网络服务器光纤宽带，提升 网址开启速率，给客户留有更强的印像。

　　三、常见问题有什么?

　　干万不可以随意开展整站源码屏蔽掉，由于robots协议书的起效时间较短的是几日，长的是一个月，一旦整站源码屏蔽掉搜索引擎蜘蛛就爬取不上信息内容了;要留意空格符，在“User-agent:”、“Disallow:”和“Allow:”的后边都是有一个空格符;要留意每一行的第一个首写都必须英文大写。

　　总的来说，之上便是为大伙儿汇总的几个方面robots协议书的內容与作用，根据之上的详细介绍，坚信提升工作人员对搜索引擎优化也是有大量关键点层面的留意，协助搞好robots协议书的设定，促进百度收录高些。