参考资料

1. Meta Robots 详解
2. robots.txt 文件详细说明
3. robots.txt文件
4. robots.txt怎么看
5. robots.txt 生成
6. Bing 管理员工具
7. 搜狗资源平台
8. robots.txt 禁止所有

robots.txt disallow

robots.txt 文件中的 Disallow 指令用于告诉搜索引擎爬虫哪些页面或目录不应被访问。例如：

User-agent: *
Disallow: /private/

这表示所有爬虫 (*) 不应访问 /private/ 目录下的内容。