参考资料

  1. 百度收录一般多久见效？
  2. robots.txt 语法
  3. 搜狗资源平台
  4. robots.txt 文件详细说明
  5. robots.txt disallow
  6. robots.txt是什么
  7. 如何检查网站是否被百度收录？
  8. robots.txt怎么看

robots.txt 文件中的 Disallow 指令用于告诉搜索引擎爬虫哪些页面或目录不应被访问。例如：

User-agent: *
Disallow: /private/

这表示所有爬虫 (*) 不应访问 /private/ 目录下的内容。

TAG：爬虫文件指令搜索引擎页面目录所有内容