Robots协议是什么?设置Robots.txt有什么作用?

当我们开始做网站的时候,很多seo优化细节要注意,就像今天聊的Robots协议,看似就一个txt文档,其实对于网站优化和收录有很大影响。

 

因为我们搭建一个全新网站的时候,网站根目录是没有Robots协议文档的,需要站长自行去添加,很多站长不知道或不太关心Robots协议的撰写,有的甚至设置错误Robots协议导致蜘蛛屏蔽了蜘蛛。

 

直到某一天发现我们的网站一直不收录,后面排查原因的时候才发现是Robots协议没设置好,无疑浪费了很多很多的时间,所以,刚开始建站的时候一定要注意这些问题。

 

Robots协议是什么?设置Robots.txt有什么作用?

比如很多站长网站刚运营的时候,没有设置好Robots协议,出现以下问题:

 

1.禁止了蜘蛛抓取,导致网站迟迟不收录。

 

2.没有禁止动态页面抓取,产生大量的重复页面。

 

3.后台地址,空栏目页没有禁止抓取,产生大量低质量页面,影响网站权重判定。

 

Robots协议协议是什么?以及设置Robots协议有什么作用。

 

1.Robots协议协议是什么?

 

Robots协议是引导搜索引擎蜘蛛爬行的标准,每当有蜘蛛进入我们网站的时候首先爬取的就是Robots.txt文件,如果网站根目录下没有Robots协议文件,那么蜘蛛就由自己的喜好开始爬取,完全自由自在,没有任何拘束。

 

如果有Robots协议文件,那么搜索引擎蜘蛛就会按照Robots协议协议来爬取,不会爬取你禁止爬取的内容,你可以理解成Robots协议是搜索引擎蜘蛛爬行的引导者。

 

当然,也有很多蜘蛛不遵循Robots协议协议,就好像头条搜索的蜘蛛开始爬取内容的时候,那段时间听到很多站长声讨头条,完全不按照Robots协议爬取,甚至直接把服务器爬瘫痪了。

 

现在淘宝,头条,公众号等等平台,为了打造闭环生态,所以都拒绝了部分蜘蛛的爬取,这也是为什么我们用百度搜索,查找不到淘宝的商品,公众号的文章,这都是设置了Robots协议文件的关系。

 

2.Robots.txt样式

通常存放在网站跟目录,你可以登录FTP查看站点跟目录下是否存在这个文件,如果没有可以自行创建,当Robotx.txt为空的时候,它代表不为网站做任何的抓取限制。

User-agent:

是定义搜索引擎的,指定搜索引擎的爬取程序,如果想定义所有搜索引擎请用 * ,

记住他不能单独使用,他要配合前面两个语法使用(随便一个就行了)

Disallow:

是禁止搜索引擎抓取的路径。注意: / 表示根目录 (代表网站所有目录)。Disallow 禁止搜索引擎把我们的网页放出来,就是我们不允许搜索引擎收录,请记住是不允许搜索引擎收录,并不代表他不能爬取了。这是两个概念,他还是能爬的,他不是命令,他只是协议

Allow:

是允许的意思,但需要注意: 他的使用一般都是结合 Disallow 他不能单独出现,意思是禁止爬取那个内容,加上 Allow 后意思是,除了可以爬取这个外其余的都禁止!

 

如果不清楚该怎么写的话,可以借助站长工具,可以一键生成Robots协议,并且检测出来,直白的告诉你每个指令是什么意思。

 

Robots协议是什么?设置Robots.txt有什么作用?

Robots协议是什么?设置Robots.txt有什么作用?

 

对于很多推广项目,放有大量链接的站长,一般都采用的go页面跳转,那么,我们在设置robots协议的时候,直接可以屏蔽蜘蛛都go页面的抓取。

 

类似网站后台,带参数的动态链接,我们都是可以设置不被搜索引擎抓取。

 

根据不同的站,有不同的写法,大家可以多多研究摸索~

本站部分内容由互联网用户自发贡献,该文观点仅代表作者本人,本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。

如发现本站有涉嫌抄袭侵权/违法违规等内容,请联系我们举报!一经查实,本站将立刻删除。

相关推荐

  • 什么是销售技巧 销售技巧提升方法

    销售技巧是一种艺术和科学的结合,旨在与潜在客户建立并维护良好的关系。本文将介绍什么是销售技巧,以及如何通过提升销售技巧来增加销售额。本文将从四个方面详细阐述销售技巧及提升方法:1)了解客户需求;2)建立信任;3)掌握沟通技巧;4)提高自我认知。 一、了解客户需求 了解客户需求是销售技巧的核心之一。通过了解客户的需求,销售人员才能为客户提供更好的服务和产品。而…

    2023-05-23
  • seo外链推广怎么优化(什么技巧建设外链比较稳定)

    企业网站在Seo优化过程中,外链的建设是一定要有的。外链为皇这句话就已经说明外链在网站建设中的地位有多重要了。很多站长都认为外链的建设主要是以量取胜,其实这种想法并不正确。因为不少站长为了节省时间,会使用群发软件建设外链,而这样的外链并不稳定,随时会被删除。那么seo优化过程中,有什么技巧建设外链比较稳定的呢?下面我们就来分析一下。   第一、要保…

    2022-08-26
  • 网站收录量低怎么解决,如何提高网站收录量

    对于一个网站,很多站长认为收录越多越好,特别是在初期,很多站长都把对方的网站的收录量作为网站质量的评价标准,认为一个收录率高的网站通常是搜索引擎喜欢的网站,在很多情况下,特别是百度算法更新的时候,我们会发现,一些流量极其不稳定往往会导致排名上下起伏,这也严重导致网站权重,而造成这个问题的原因无疑是因为网站上存在大量的低质量页面,其实我们不能根据网站的流量来判…

    2023-08-30
  • qq群怎么发广告 qq群发布广告方法

    本文将介绍如何在QQ群中发布广告,包括通过QQ群消息、QQ群公告和QQ群文件三种方式。我们还将探讨如何制作有效的广告内容,并且提供一些实用的技巧和建议,以帮助您成功地在QQ群中推广您的产品或服务。 一、QQ群消息发布广告 1、选择适当的QQ群:在发布广告之前,您需要确保选定的QQ群与您的产品或服务有关系。您可以通过一个与您的产品或服务相关的关键词进行搜索,或…

    2023-05-16
  • 新网站百度收录要多久(新网站百度收录多久才放出快照)

    很多朋友对于新站收录后排名不稳定出现过焦虑,其实这个大可不必,只要你搭建好网站后被百度收录,前15日内一定要做好网站的更新和整理工作,后期定时更新绝对不会出现问题的,一般情况下是这样的: 1、百度对新站都有一个考察期,一般是1-6个月的时间。如果这段时间网站改版或者更换标题等,就有可能降权,延长新站的考察期。在网站考察期内,网站的首页可以正常收录,但内页有可…

    2022-05-26 SEO优化
  • 怎么利用新浪微博推广 新浪微博推广技巧分享

    新浪微博是一种有效的社交媒体平台,可以广泛应用于营销、宣传和推广。本文将介绍如何利用新浪微博推广以及新浪微博推广技巧,包括如何选择受众、制定策略、发挥互动效应以及加强分析和监测。 一、选择受众 1、明确目标人群 为了在新浪微博上获得成功的推广,首先需要明确目标人群是谁。推广应该有具体的定位,不应该被广泛地宣传给大众。要了解你的潜在客户,关注他们的兴趣和活动,…

    2023-05-21