当我们开始做网站的时候，很多seo优化细节要注意，就像今天聊的Robots协议，看似就一个txt文档，其实对于网站优化和收录有很大影响。
因为我们搭建一个全新网站的时候，网站根目录是没有Robots协议文档的，需要站长自行去添加，很多站长不知道或不太关心Robots协议的撰写，有的甚至设置错误Robots协议导致蜘蛛屏蔽了蜘蛛。
直到某一天发现我们的网站一直不收录，后面排查原因的时候才发现是Robots协议没设置好，无疑浪费了很多很多的时间，所以，刚开始建站的时候一定要注意这些问题。
比如很多站长网站刚运营的时候，没有设置好Robots协议，出现以下问题：
1.禁止了蜘蛛抓取，导致网站迟迟不收录。
2.没有禁止动态页面抓取，产生大量的重复页面。
3.后台地址，空栏目页没有禁止抓取，产生大量低质量页面，影响网站权重判定。
Robots协议协议是什么？以及设置Robots协议有什么作用。
1.Robots协议协议是什么？
Robots协议是引导搜索引擎蜘蛛爬行的标准，每当有蜘蛛进入我们网站的时候首先爬取的就是Robots.txt文件，如果网站根目录下没有Robots协议文件，那么蜘蛛就由自己的喜好开始爬取，完全自由自在，没有任何拘束。
如果有Robots协议文件，那么搜索引擎蜘蛛就会按照Robots协议协议来爬取，不会爬取你禁止爬取的内容，你可以理解成Robots协议是搜索引擎蜘蛛爬行的引导者。
当然，也有很多蜘蛛不遵循Robots协议协议，就好像头条搜索的蜘蛛开始爬取内容的时候，那段时间听到很多站长声讨头条，完全不按照Robots协议爬取，甚至直接把服务器爬瘫痪了。
现在淘宝，头条，公众号等等平台，为了打造闭环生态，所以都拒绝了部分蜘蛛的爬取，这也是为什么我们用百度搜索，查找不到淘宝的商品，公众号的文章，这都是设置了Robots协议文件的关系。
2.Robots.txt样式
通常存放在网站跟目录，你可以登录FTP查看站点跟目录下是否存在这个文件，如果没有可以自行创建，当Robotx.txt为空的时候，它代表不为网站做任何的抓取限制。
User-agent：
是定义搜索引擎的，指定搜索引擎的爬取程序，如果想定义所有搜索引擎请用 * ，
记住他不能单独使用，他要配合前面两个语法使用（随便一个就行了）
Disallow：
是禁止搜索引擎抓取的路径。注意： / 表示根目录 (代表网站所有目录)。Disallow 禁止搜索引擎把我们的网页放出来，就是我们不允许搜索引擎收录，请记住是不允许搜索引擎收录，并不代表他不能爬取了。这是两个概念，他还是能爬的，他不是命令，他只是协议
Allow：
是允许的意思，但需要注意： 他的使用一般都是结合 Disallow 他不能单独出现，意思是禁止爬取那个内容，加上 Allow 后意思是，除了可以爬取这个外其余的都禁止！
如果不清楚该怎么写的话，可以借助站长工具，可以一键生成Robots协议，并且检测出来，直白的告诉你每个指令是什么意思。
对于很多推广项目，放有大量链接的站长，一般都采用的go页面跳转，那么，我们在设置robots协议的时候，直接可以屏蔽蜘蛛都go页面的抓取。
类似网站后台，带参数的动态链接，我们都是可以设置不被搜索引擎抓取。
根据不同的站，有不同的写法，大家可以多多研究摸索~
来源：展天博客（QQ/微信：10801787 ， 公众号：展天） 转载请注明出处！
本文链接：https://www.me900.com/1991.html
相关推荐
-
网站自动化宣传，外链代发工具有用吗？
做网站总体来说是一个细致活，影响网站排名的因素很多，没人会说自己已经完全的懂得SEO，每个人都对SEO有自己的一些理解。 战天博客之前做一些采集站，只是想优化一些关键词到首页就可以了，用首页关键词去获得不错的排名和流量，在最早的时候就是看一些关于SEO优化教程视频，然后按照教程里面的操作流程来操作。 并且一直推崇：外链为王，内链为皇这句话。 这句话本身是对于…
-
黑链是什么？跟明链和暗链有啥区别？
每个稍微懂点seo基础知识的应该都听说过黑链，明链，暗链这些词语，早些年黑链使用的非常广泛，当然，现在也是非常广泛，只不过百度现在打击的多了，没有之前那么猖獗而已。 之前做淘宝客网站的时候，了解到一个团队，专门挂黑链提高自己网站的排名，非常厉害。 黑链是什么？ 黑链简单的来说，就是使用一些见不得人的手段，在你的网站上面挂一些黑链代…
-
关于网赚博客个人网站备案问题探讨
应该很多做网赚博客的朋友都会考虑一下做网赚博客到底备案还是不备案，战天看了很多网赚博客，备案和不备案的比例已经是一半对一半吧，很多备案的网赚博客依然活的很好，但非常不幸的是，自从做网赚博客以来，已经是第三次遇到有关个人网站备案问题了。 最开始做的战天日记网站开始降权然后恢复，逐步增加收录和排名的时候，一记网站内容不符需要整改，因为当时要想到保留备案域名，所以…
-
感谢建哥对战天网赚博客的seo优化建议
昨日按例翻看收藏夹博客，发现小米网赚导航和阿建博客的站长建哥写了一篇关于战天博客优化建议，看到挺意外的。 关于建哥不用做过多介绍了，做网赚博客的几乎都知道建哥这个人，随和，平易近人，也是一个SEO的高手，阿建博客和他的小米网赚导航都有很不错的排名，实力可见一斑！ 我在9月份的时候加入了阿建论坛，几乎是在里面潜水吧，因为当时我对网赚博客的理解几乎为零，只能默默…
-
什么是友情链接？友链对于网站的作用
在SEO行业有一句话一直广为流传，那就是：“内链为王，外链为皇”，由此可见，在对网站的优化过程中，除了内容外，外链对于网站的影响也是非常大的。 友情链接也是属于外链的一种，友链对于网站的作用也是非常巨大的，想要搞清楚友情链接对网站的影响，首先我们要了解清楚友情链接是什么？ 什么是友情链接？ 友情链接，也称为网站交换链接、互惠链接、互换链接、联盟链接等，是具有…
评论列表（1条）
学到了学到了