允许Google Site Search但阻止Google Bot

Question

我正在寻找一些明确的尝试阻止Google Bot访问我网站上的特定网页，但同时允许它们在我的Google网站搜索（GSA）中编入索引。我找不到一个明确的答案。这是我最好的猜测。

User-agent: *
Disallow: /wp-admin/
Disallow: /example/custom/

User-Agent: gsa-crawler
Allow: /example/custom/

我想阻止Google Bot使用www.example.com/example/custom/索引任何网页，但同时使用GSA将其编入索引。这是我的robots.txt文件中的正确实现吗？或者GSA需要超过用户代理：*？非常感谢任何见解。

Answer 1

不确定它是否有帮助：

https://www.google.com/support/enterprise/static/gsa/docs/admin/72/gsa_doc_set/admin_crawl/preparing.html

安全提示：记得黑客在robots.txt中搜索，看看你想要“守卫”的目标。

干杯！