（称为“Meta Robots”标签（有时也称为“Meta Noindex”）） 在页面级别控制搜索机器人的行为 。 最简单的标签形式如下： Meta Noindex 示例代码 此指令告诉搜索机器人不要索引此特定页面或跟踪其上的链接。据传，我发现它比 Robots.txt 更有利于 SEO，而且由于可以使用代码动态创建标签，因此它通常可以更灵活。
的另一种常见变体是内容值
NOINDEX, FOLLOW”，它允许 b2b电子邮件清单 器人抓取页面上的路径，而无需将页面添加到搜索索引中。这对于内部搜索结果等页面非常有用，您可能希望阻止某些变体（我稍后会详细讨论这一点），但仍会跟踪产品页面的路径。 简要说明：无需在页面中添加带有“INDEX, FOLLOW”的 Meta Robots 标签。
默认情况下
所有页面都会被索引和关注（除非通 如果遇到此类问题 过其他方式阻止）。 （5）Rel=规范 2009 年，搜索引擎联合起来创建了 Rel=Canonical 指令，有时简称为“Rel-canonical”或“Canonical 标签”。这允许网站管理员为任何页面指定规范版本。该标签位于页面标题中（如 Meta Robots），一个简单的示例如下： Rel=规范示例代码 当搜索引擎到达带有规范标签的页面时，它们会将该页面归因于规范 URL，无论它们使用哪个 URL 到达该页面。
因此例如
如果机器人使用 URL”到达上述页面，则搜 克罗地亚商业指南 索引擎不会 索引其他非规范 URL。通常，入站链接汁似乎也会通过规范标签传递。 需要注意的是，您需要清楚地了解任何给定网站模板的正确规范页面是什么。将整个网站规范化为一个页面或错误的页面 可能会带来灾难性的后果。
Google 网址删除 在
Google 网站管理员工具(GWT) 中，您可以请求手动从索引中删除单个页面（或目录）。点击“网站配置”>“抓取工具访问”，您将看到一系列 3 个选项卡。点击第 3 个选项卡“删除 URL”，即可获得以下内容： GWT 参数阻止 #2 由于此工具每次只能删除一个 URL 或路径，并且完全由 Google 自行决定，因此它通常是删除重复内容的最后手段。