我在api.website.com上有我的api，不需要身份验证。
我正在寻找一种方法来禁止Google对我的API进行索引。
有办法吗？
我已经在api.website.com/robots.txt上禁止了我的机器人 但这只会阻止google对其进行爬网。
User-agent: *
Disallow: /
通常的方法是删除Disallow并添加一个noindex元标记，但这是一个API，因此没有元标记或其他任何内容。
还有其他方法吗？
答案 0 :(得分：1)
似乎有一种方法可以在api调用上添加noindex。
在这两个页面上建议的解决方案是在不需要索引的页面上添加noindex元标记。 （X-Robots-Tag HTTP标头也应适用于非HTML页面。不过，我不确定它是否可用于重定向。）矛盾的是，这意味着您必须允许Googlebot抓取这些页面（通过删除完全通过robots.txt或通过为Googlebot添加单独的，更宽松的规则集来实现），因为否则，它一开始就看不到meta标签。
答案 1 :(得分：0)
奇怪的是Google忽略了您的/robots.txt文件。尝试将一个index.html文件拖放到根Web目录中，并在网页的<head>...</head>标签之间添加以下内容。
<meta name="robots" content="noindex, nofollow">