阻止机器人抓取我的Google App Engine网站

Question

我注意到我的Google App Engine网站被很多僵尸程序（例如Baido和Ahrefs）抓取，他们正在吃掉我所有的带宽和数据存储读取操作。

我知道在一个常规的自托管网站上我将robots.txt放在我的基本文件夹中，但我究竟如何告诉机器人不要在Google App Engine上抓取我的网站？我正在运行python和jinja 2，如果这有所不同。

谢谢。

Answer 1

在app.yaml

中执行此操作

- url: /robots.txt
  static_files: static/robots.txt
  upload: static/robots.txt

然后，只要您的项目中有static/robots.txt，就可以了。