参考资料

  1. 百度收录解析与操作指南
  2. robots.txt利用
  3. Meta Robots 详解
  4. 360站长平台
  5. robots.txt 在哪里
  6. 百度收录一般多久见效？
  7. robots.txt是什么
  8. robots.txt 参数设置

User-agent: *
Disallow: /private/
Disallow: /admin/
Disallow: /tmp/
Allow: /public/
Sitemap: https://www.example.com/sitemap.xml