QQ爹の博客 QQ爹の博客
标签 robots 下的文章
robots介绍就是一个网站根目录的txt文本,需要自己建立的,目的就是告诉搜索引擎哪些页面可以抓取,哪些页面不准抓取。事情的起因就是我建立了这个东西,下面就是我写的东西。U...

robots.txt书写错误导致的严重后果

robots介绍就是一个网站根目录的txt文本,需要自己建立的,目的就是告诉搜索引擎哪些页面可以抓取,哪些页面不准抓取。事情的起因就是我建立了这个东西,下面就是我写的东西。User-agent: * Disallow: /a*/这个是不准抓的链接 Disallow:/ins...
人性思考
友情链接: QQ 爹博客 禾令奇 月宅酱博客 半夏博客
雷姆
拉姆
音乐加载中...
0:00