User-agent: *Sitemap: https://www.example.com/sitemap.xml
robots.txt 文件中的 Disallow 指令用于告诉搜索引擎爬虫哪些页面或目录不应被访问。例如：这表示所有爬虫 (*) 不应访问 /private/ 目录下的内容。
robots.txt是一个用于控制搜索引擎爬虫访问网站内容的文本文件，通常放置在网站的根目录下（如https://example.com/robots.txt）。以下是关于robots.txt参数设置的详细解析：一、robots.txt 的基本语法User-agent指定爬虫名称，*表示所有爬虫。示例：plaintext复制Disallow禁止爬虫访问的路径，/表示禁止访问整个网站。示例：plai
