参考资料

  1. robots.txt文件
  2. robots.txt 禁止所有
  3. robots.txt利用
  4. robots.txt 参数设置
  5. robots.txt 禁止目录
  6. Meta Robots 详解
  7. 百度收录一般多久见效?
  8. robots.txt disallow

User-agent: *
Sitemap: https://www.example.com/sitemap.xml