参考资料

1. 搜狗资源平台
2. Meta Robots 详解
3. robots.txt文件
4. 百度收录资源平台
5. robots.txt sitemap
6. robots.txt 文件详细说明
7. robots.txt disallow
8. robots.txt利用

robots.txt disallow

robots.txt 文件中的 Disallow 指令用于告诉搜索引擎爬虫哪些页面或目录不应被访问。例如：

User-agent: *
Disallow: /private/

这表示所有爬虫 (*) 不应访问 /private/ 目录下的内容。