参考资料

  1. Bing 管理员工具
  2. robots.txt 文件详细说明
  3. robots.txt文件
  4. robots.txt disallow
  5. robots.txt 语法
  6. 如何检查网站是否被百度收录？
  7. robots.txt 生成
  8. robots.txt 禁止目录

robots.txt 生成

User-agent: *
Disallow: /private/
Disallow: /admin/
Disallow: /tmp/
Allow: /public/
Sitemap: https://www.example.com/sitemap.xml