参考资料

  1. robots.txt sitemap
  2. robots.txt 禁止所有
  3. Meta Robots 详解
  4. robots.txt disallow
  5. 百度收录资源平台
  6. robots.txt 文件详细说明
  7. robots.txt 生成
  8. Bing 管理员工具

robots.txt 在哪里

robots.txt 文件通常位于网站的根目录下。例如，如果网站是 www.example.com，那么 robots.txt 文件的地址就是 www.example.com/robots.txt。