当我们开始做网站的时候，很多seo优化细节要注意，就像今天聊的Robots协议，看似就一个txt文档，其实对于网站优化和收录有很大影响。
因为我们搭建一个全新网站的时候，网站根目录是没有Robots协议文档的，需要站长自行去添加，很多站长不知道或不太关心Robots协议的撰写，有的甚至设置错误Robots协议导致蜘蛛屏蔽了蜘蛛。
直到某一天发现我们的网站一直不收录，后面排查原因的时候才发现是Robots协议没设置好，无疑浪费了很多很多的时间，所以，刚开始建站的时候一定要注意这些问题。
比如很多站长网站刚运营的时候，没有设置好Robots协议，出现以下问题：
1.禁止了蜘蛛抓取，导致网站迟迟不收录。
2.没有禁止动态页面抓取，产生大量的重复页面。
3.后台地址，空栏目页没有禁止抓取，产生大量低质量页面，影响网站权重判定。
Robots协议协议是什么？以及设置Robots协议有什么作用。
1.Robots协议协议是什么？
Robots协议是引导搜索引擎蜘蛛爬行的标准，每当有蜘蛛进入我们网站的时候首先爬取的就是Robots.txt文件，如果网站根目录下没有Robots协议文件，那么蜘蛛就由自己的喜好开始爬取，完全自由自在，没有任何拘束。
如果有Robots协议文件，那么搜索引擎蜘蛛就会按照Robots协议协议来爬取，不会爬取你禁止爬取的内容，你可以理解成Robots协议是搜索引擎蜘蛛爬行的引导者。
当然，也有很多蜘蛛不遵循Robots协议协议，就好像头条搜索的蜘蛛开始爬取内容的时候，那段时间听到很多站长声讨头条，完全不按照Robots协议爬取，甚至直接把服务器爬瘫痪了。
现在淘宝，头条，公众号等等平台，为了打造闭环生态，所以都拒绝了部分蜘蛛的爬取，这也是为什么我们用百度搜索，查找不到淘宝的商品，公众号的文章，这都是设置了Robots协议文件的关系。
2.Robots.txt样式
通常存放在网站跟目录，你可以登录FTP查看站点跟目录下是否存在这个文件，如果没有可以自行创建，当Robotx.txt为空的时候，它代表不为网站做任何的抓取限制。
User-agent：
是定义搜索引擎的，指定搜索引擎的爬取程序，如果想定义所有搜索引擎请用 * ，
记住他不能单独使用，他要配合前面两个语法使用（随便一个就行了）
Disallow：
是禁止搜索引擎抓取的路径。注意： / 表示根目录 (代表网站所有目录)。Disallow 禁止搜索引擎把我们的网页放出来，就是我们不允许搜索引擎收录，请记住是不允许搜索引擎收录，并不代表他不能爬取了。这是两个概念，他还是能爬的，他不是命令，他只是协议
Allow：
是允许的意思，但需要注意： 他的使用一般都是结合 Disallow 他不能单独出现，意思是禁止爬取那个内容，加上 Allow 后意思是，除了可以爬取这个外其余的都禁止！
如果不清楚该怎么写的话，可以借助站长工具，可以一键生成Robots协议，并且检测出来，直白的告诉你每个指令是什么意思。
对于很多推广项目，放有大量链接的站长，一般都采用的go页面跳转，那么，我们在设置robots协议的时候，直接可以屏蔽蜘蛛都go页面的抓取。
类似网站后台，带参数的动态链接，我们都是可以设置不被搜索引擎抓取。
根据不同的站，有不同的写法，大家可以多多研究摸索~
来源：展天博客（QQ/微信：10801787 ， 公众号：展天） 转载请注明出处！
本文链接：https://www.me900.com/1991.html
相关推荐
-
网站自动化宣传，外链代发工具有用吗？
做网站总体来说是一个细致活，影响网站排名的因素很多，没人会说自己已经完全的懂得SEO，每个人都对SEO有自己的一些理解。 战天博客之前做一些采集站，只是想优化一些关键词到首页就可以了，用首页关键词去获得不错的排名和流量，在最早的时候就是看一些关于SEO优化教程视频，然后按照教程里面的操作流程来操作。 并且一直推崇：外链为王，内链为皇这句话。 这句话本身是对于…
-
未备案域名使用香港服务器影响收录
相信很多做网站的朋友都有一个疑问，那就是没有备案的域名，放在香港服务器上面究竟会不会影响网站收录和排名? 看到整个互联网上众说纷纭，貌似好像都有那么一丢丢道理，但是别人说的始终是别人说的，很多事情还是要自己去踩坑了才知道究竟怎么一回事。 要是放在去年，展天还真的不好说没有备案的网站就一定影响收录，因为展天博客之前网站是有备案，因为审查的原因我主动注销了备案，…
-
什么是友情链接？友链对于网站的作用
在SEO行业有一句话一直广为流传，那就是：“内链为王，外链为皇”，由此可见，在对网站的优化过程中，除了内容外，外链对于网站的影响也是非常大的。 友情链接也是属于外链的一种，友链对于网站的作用也是非常巨大的，想要搞清楚友情链接对网站的影响，首先我们要了解清楚友情链接是什么？ 什么是友情链接？ 友情链接，也称为网站交换链接、互惠链接、互换链接、联盟链接等，是具有…
-
类聚seo：运用关键词挖掘技巧,提升长尾关键词库
稍微懂一点seo知识的朋友都会明白选择关键词的重要性，不光是做网站需要选择关键词，在简书，知乎，搜狐，新浪博客等开放型的自媒体平台写文章一样会运用到SEO知识。 因为这些“开放型”平台都是可以被搜索引擎蜘蛛抓取，覆盖一定指数的关键词可以利用这些平台的高权重获得更多的搜索排名。 当然，像公众号，头条封闭式平台也可以覆盖关键词，虽说它们屏蔽了搜索引擎的蜘蛛抓取，…
-
记录一次网站首页降权问题
每天起床第一件事就是查看一下所有网站的记录，看下有没有网站出现问题。 按例排查的时候发现战天博客首页已经轻微降权了，为什么只说是网站首页降权，而不是网站整体降权？ 因为网站文章还是正常的收录状态，依然是小时级收录，最快的时候十分钟就能收录文章，所以说网站整体状况良好，只是搜索品牌词的时候，网站首页不在第一位，甚至不在第一页了。 &…
-
以怎么搜索聊聊网站优化那些事
聊到怎么搜索这个话题，肯定很多人会说，搜索谁不会，不就是打开搜索引擎输入想要的问题，然后开始搜索就完了吗？这有什么麻烦的。 确实，对于普通网民来说都是这样的搜索方法，但是对于我们这些做网络营销，做网站，做站长的人来说，单单只会这样搜索的话，肯定是不及格的，因为我们本身就是在互联网上讨饭吃，必须了解到一些其他都搜索方式，因为很多简单的招式用起来会…
评论列表（1条）
学到了学到了