robots.txt 文件详细说明定义robots.txt 是一个文本文件，位于网站的根目录下，用于指导搜索引擎蜘蛛（爬虫）如何抓取网站的页面。它通过指定允许或禁止抓取的路径，控制搜索引擎对网站内容的访问。语法User-agent: 指定适用的爬虫名称。* 表示所有爬虫。Disallow: 禁止抓取的路径。Allow: 允许抓取的路径（通常用于在禁止的路径中例外允许某些内容）。Sitemap: 指
robots.txt 是一个文本文件，用于指导网络爬虫（如搜索引擎的爬虫）如何访问和抓取网站的内容。它通常放置在网站的根目录下，通过指定允许或禁止爬虫访问的路径来控制爬虫的行为。基本格式示例禁止所有爬虫访问整个网站允许所有爬虫访问整个网站禁止特定爬虫访问特定目录允许特定爬虫访问特定目录注意事项robots.txt 只是一个建议，爬虫可以选择忽略它。敏感信息不应仅依赖 robots.txt 来保护，
User-agent: *Disallow: /禁止目录/
robots.txt 文件中的 Disallow 指令用于告诉搜索引擎爬虫哪些页面或目录不应被访问。例如：这表示所有爬虫 (*) 不应访问 /private/ 目录下的内容。
