参考资料

  1. robots.txt怎么看
  2. 百度收录一般多久见效？
  3. 搜狗资源平台
  4. robots.txt 生成
  5. robots.txt 文件详细说明
  6. robots.txt 禁止所有
  7. robots.txt是什么
  8. Meta Robots 详解

robots.txt sitemap

User-agent: *
Sitemap: https://www.example.com/sitemap.xml