参考资料

  1. robots.txt 禁止目录
  2. robots.txt 禁止所有
  3. robots.txt文件
  4. robots.txt 在哪里
  5. 搜狗资源平台
  6. robots.txt 参数设置
  7. 如何检查网站是否被百度收录？
  8. Bing 管理员工具

robots.txt 文件通常位于网站的根目录下。例如，如果网站是 www.example.com，那么 robots.txt 文件的地址就是 www.example.com/robots.txt。