落英缤纷 > 标签合集 > robots

关于 "robots" 的相关软件

  • robots.txt书写错误导致的严重后果

    2016-10-22

    robots介绍就是一个网站根目录的txt文本,需要自己建立的,目的就是告诉搜索引擎哪些页面可以抓取,哪些页面不准抓取。事情的起因就是我建立了这个东西,下面就是我写的东西。User-agent:...