如何在Google App Engine中禁用googlebot？

Question

昨天googlebot导致我的应用超过了读取配额。如何禁用googlebot？感谢。

更新

我添加了

- url: /robots.txt
  static_dir: robots

到我的app.yaml as explained here并在robots.txt文件中创建目录“robots”，但网址http://www.example.com/robots.txt不起作用。我做错了什么？

Answer 1

添加robots.txt file。这是一个简单的阻止注意它的机器人：

User-agent: *
Disallow: /

Answer 2

将机器人路线移至/.*上方捕捉所有路线并使用以下内容修改app.yaml

- url: /robots.txt
  static_files: robots/robots.txt
  upload: robots/robots.txt

请记住，此操作会影响您应用的SERP（Google迟早会对您的应用取消索引）