在pdf的链接中添加“noindex”

Question

我有一个网站，其中包含php script的链接，我在其中使用mPdf库生成pdf，并在浏览器中显示或下载，具体取决于配置。

问题在于我不希望它在google中编入索引。我已经将链接rel="nofollow"放在了不再编入索引的链接上，但我怎样才能解决已经存在的链接？

rel="noindex, nofollow"不起作用。

只能由php或某些html代码

执行此操作

Answer 1

如果您确实阻止其机器人访问资源，Google应该如何解除索引？ ;）这可能看起来反直觉。

删除链接上的rel="nofollow"，并在提供PDF文件的脚本中包含X-Robots-Tag: none标题。 Google将能够输入资源，并且会看到禁止索引此特定资源并将从索引中删除记录。

完成deindexing后，将Disallow规则添加到robots.txt文件中，如@ mtr.web所述，这样机器人就不会再耗尽您的服务器了。

Answer 2

假设您有一个robots.txt文件，您可以通过向其添加规则来停止谷歌索引任何特定文件。在你的情况下，它将是这样的：

User-agent: *
disallow: /path/to/PdfIdontWantIndexed.pdf

从那里，您所要做的就是确保submit your robots.txt to Google，并且此后不久就应该停止对其进行索引。

注意：

remove your url from the existing Google index也可能是明智之举，因为如果谷歌已经抓取它，这会更快。