我有索引的链接不应该。我需要从谷歌删除它们。我应该输入robots.txt 链接示例 http://sitename.com/wp-content/uploads/2014/02/The-Complete-Program-2014.pdf
答案 0 :(得分：0)
使用robots.txt，您可以禁止抓取，而不是索引。
使用此robots.txt
User-agent: *
Disallow: /wp-content/uploads/2014/02/The-Complete-Program-2014.pdf
不允许抓取路径以/wp-content/uploads/2014/02/The-Complete-Program-2014.pdf开头的任何网址。
但是如果机器人以其他方式找到此URL（例如，由其他人链接），他们可能仍然索引它（没有抓取/访问它）。已经为其编制索引的搜索引擎也是如此：他们可能会保留它（但不再访问它）。
要禁止编制索引，可以将HTTP标头X-Robots-Tag与noindex参数一起使用。在这种情况下，您should not阻止在robots.txt中抓取文件，否则机器人将永远无法看到您的标头（因此他们永远不会知道您不希望此文件被编入索引）。