防止机器人访问GCloud上托管的网站

Question

我试图阻止所有搜索引擎机器人访问我的网站。

我读到可以将这些权限指定给robots.txt文件，但我不知道在哪里访问此文件以便在Google Cloud上进行编辑。

我使用Python与Gcloud开发了我的Web服务器。

请注意，我阅读了以下主题 http://stocksonfire.in/seo/edit-robots-txt-google-cloud-solved/ 但是，我没有在我的资源中找到任何VM实例。 我需要先创建一个吗？

编辑：在应用@Dac Saunders建议

之后，这是我的app.yaml文件

runtime: python
env: flex
entrypoint: gunicorn -b :$PORT main:app

runtime_config:
  python_version: 3

handlers:
- url: /robots\.txt
  static_files: robots.txt
  upload: robots\.txt

Answer 1

我的robots.txt（使用python appengine）看起来像这样。

User-agent: *
Disallow: /q?

Sitemap: /sitemap.xml.gz

我把它放在<MYAPP>/static/robots.txt。然后我将其映射到app.yaml，如下所示：

handlers:
- url: /(robots\.txt|favicon\.ico)
  static_files: static/\1
  upload: static/.*

这样我的robots.txt就可以在我的域的根目录中访问。