meta robots 标签是页面 head 部分 meta 标签的一种，用于禁止搜索引擎索引本页内容。
最简单的 meta robots 标签格式为：
<meta mane=”robots” content=”noindex, nofollow”>
上面标签的意义是禁止所有搜索引擎索引本页面，禁止跟踪本页面上的链接。
谷歌、必应、雅虎都支持的 meta robots 标签如下。
- noindex：告诉蜘蛛不要索引本页面。
- nofollow：告诉蜘蛛不要跟踪本页面上的链接。
- nosnippet：告诉搜索引擎不要在搜索结果中显示说明文字。
- noarchive：告诉搜索引擎不要显示快照。
- noodp：告诉搜索引擎不要使用开放目录中的标题和说明。
百度的官方说法是目前只支持 nofollow 和 noarchive。
meta robots 标签内容可以写在一起，以逗号间隔，中间可以有空格，也可以没有。
多个 meta robots 内容也可以写成不同标签，例如：
<meta mane=”robots” content=”nofollow”>
<meta mane=”robots” content=”noindex”>
与下面这个是一样的：
<meta mane=”robots” content=”noindex, nofollow”>
meta robots 标签不区分大小写。
只有禁止索引时，使用 meta robots 才有意义，否则是没有意义的，等于没写。如果页面需要被搜索引擎收录、索引或者希望搜索引擎跟踪该页面的所有链接，就不需要写 meta robots 标签。比如下面这个标签：
<meta mane=”robots” content=”index, follow”>
下面这个标签有时会用到：
<meta mane=”robots” content=”noindex”>
效果是禁止索引本页面，但允许蜘蛛跟踪页面上的链接，也可以传递权重。
使用了 noindex meta robots 标签的页面会被抓取，但不会被索引，页面 URL 不会出现在搜索结果中，这一点与 robots 文件不同。