主站
特惠爆品
Robots
站长收录
CDN缓存
statistics统计
帮助中心
网站首页
>
TAG
>
指令
robots.txt disallow
2025-03-27 12:36:38
9
robots.txt 文件中的 Disallow 指令用于告诉搜索引擎爬虫哪些页面或目录不应被访问。例如:这表示所有爬虫 (*) 不应访问 /private/ 目录下的内容。
爬虫
文件
指令
搜索引擎
页面
目录
所有
内容
«
‹
1
›
»
1
robots.txt 参数设置
2
robots.txt利用
3
robots.txt 禁止目录
4
robots.txt 生成
5
robots.txt是什么
6
robots.txt怎么看
7
robots.txt sitemap
8
robots.txt disallow
9
robots.txt 语法
10
robots.txt文件