robots.txt 语法

参考资料

1. 百度收录一般多久见效？
2. robots.txt 禁止目录
3. robots.txt 语法
4. robots.txt 文件详细说明
5. robots.txt是什么
6. robots.txt文件
7. 百度收录解析与操作指南
8. 360站长平台

robots.txt 文件用于指示网络爬虫（如搜索引擎的爬虫）如何访问网站的页面。其基本语法如下：

1. User-agent: 指定爬虫的名称。* 表示所有爬虫。

   User-agent: *

2. Disallow: 禁止爬虫访问的路径。

   Disallow: /private/

3. Allow: 允许爬虫访问的路径（通常与 Disallow 结合使用）。

   Allow: /public/

4. Sitemap: 指定网站地图的位置。

   Sitemap: https://example.com/sitemap.xml

示例：

User-agent: *
Disallow: /private/
Allow: /public/
Sitemap: https://example.com/sitemap.xml

声明：本站所有文章资源内容，如无特殊说明或标注，均为采集网络资源。如若本站内容侵犯了原著者的合法权益，可联系本站删除。