爱好者 > Typecho > 闲言碎语 > robots.txt书写错误导致的严重后果

robots.txt书写错误导致的严重后果

作者:佚名 来源:爱好者 时间:2016-10-22

robots介绍

就是一个网站根目录的txt文本,需要自己建立的,目的就是告诉搜索引擎哪些页面可以抓取,哪些页面不准抓取。

事情的起因就是我建立了这个东西,下面就是我写的东西。

User-agent: * Disallow: /a*/这个是不准抓的链接 Disallow:/install/这个是不准抓的链接 sitemap:https://qqdie.com/sitemap.xml

错就错在这个声明上了Disallow: /a*/,这个就是禁止http://qqdie.com/a带有这样格式的链接,而我的文章格式是https://qqdie.com/archives/demo.html这样的,因为每篇文章链接都含有http://qqdie.com/a,所以搜索引擎完全没有抓取我的文章。(容我哭一下)

创建robots.txt本身是优化收录的,结果我这么一写反而起了超级大的反效果,哭。

之前怀疑过https导致收录过慢,也怀疑过我自己修改文章链接格式导致的原因,现在我发现我错了,最大的原因居然是这个不起眼的txt文件。

robots文件写法

User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符 Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录 Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录 Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录 Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。 Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址 Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片 Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。 Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录 Allow: /tmp 这里定义是允许爬寻tmp的整个目录 Allow: .htm$ 仅允许访问以".htm"为后缀的URL。 Allow: .gif$ 允许抓取网页和gif格式图片 Sitemap: 网站地图 告诉爬虫这个页面是网站地图