name="robots" 是 HTML meta 标签中的一个属性,用于控制搜索引擎爬虫对网页的索引和抓取行为。
参考资料
name="robots" 是 HTML meta 标签中的一个属性,用于控制搜索引擎爬虫对网页的索引和抓取行为。
name="robots"
是 HTML meta 标签中的一个属性,用于控制搜索引擎爬虫对网页的索引和抓取行为。以下是详细参数及其说明:
基本语法
<meta name="robots" content="参数1,参数2">
主要参数及说明
index / noindex
index
:允许搜索引擎索引该页面(默认值)。noindex
:禁止搜索引擎索引该页面。follow / nofollow
follow
:允许爬虫跟踪页面上的链接(默认值)。nofollow
:禁止爬虫跟踪页面上的链接。noarchive
禁止搜索引擎缓存页面快照。
nosnippet
禁止在搜索结果中显示页面的摘要或片段。
noodp
禁止使用开放目录项目(DMOZ)的标题和描述作为搜索结果。
noydir
禁止使用雅虎目录的标题和描述作为搜索结果。
noimageindex
禁止索引页面上的图片。
none
等同于
noindex, nofollow
。
示例
允许索引和跟踪链接:
<meta name="robots" content="index,follow">
禁止索引但允许跟踪链接:
<meta name="robots" content="noindex,follow">
禁止索引和跟踪链接:
<meta name="robots" content="noindex,nofollow">
禁止缓存快照:
<meta name="robots" content="noarchive">
注意事项
多个参数需用逗号分隔。
未指定时,默认行为是
index,follow
。可通过
robots.txt
文件全局控制爬虫行为,但meta robots
标签的优先级更高。