参考资料

  1. robots.txt利用
  2. Bing 管理员工具
  3. robots.txt sitemap
  4. robots.txt 语法
  5. robots.txt 在哪里
  6. robots.txt文件
  7. robots.txt 禁止所有
  8. 如何检查网站是否被百度收录？

robots.txt是什么

robots.txt是一个文本文件，网站管理员通过它来告诉搜索引擎哪些页面可以抓取，哪些页面不可以抓取。这个文件位于网站的根目录下，遵循特定的格式和规则。