robots.txt 文件中的 Disallow 指令用于告诉搜索引擎爬虫哪些页面或目录不应被访问。例如：

User-agent: *
Disallow: /private/

这表示所有爬虫 (*) 不应访问 /private/ 目录下的内容。

TAG：爬虫文件指令搜索引擎页面目录所有内容

本篇文章内容来源于：robots.txt disallow