使用响应标头防止机器人索引

您网站的某些部分经常不被搜索引擎编入索引会更好。 API 调用、搜索结果页面、PDF 文档——所有在当前用户之外可能没有价值的响应示例。不，我们都知道我们可以向搜索引擎发出信号，不要使用 META 标签对页面进行索引，但通常服务调用和文档不会得到 META 标签的奢侈.幸运的是，您可以添加标题以防止这些响应被编入索引。

标头名称是 X-Robots-Tag 应该很容易使用您喜欢的服务器端语言添加。例如，使用 PHP 添加此标头可能如下所示：

header('X-Robots-Tag: noindex');

如果您使用的是基于 Django 的 python 站点，则可能如下所示：

response['X-Robots-Tag'] = 'noindex'

此标头也可以在您的 .htaccess 或 httpd 配置文件中设置：

<Files ~ "\.pdf$">
  Header set X-Robots-Tag "noindex"
</Files>

事实是，不能保证您的服务器所提供的内容不会被搜索引擎索引，但是像这样的小调整可以确保您的搜索引擎地位得到提高，并且用户不会找到“死”部分的途径通过搜索引擎搜索您的网站。