在robots.txt中我可以说:
#Baiduspider
User-agent: Baiduspider
Disallow: /
#Yandex
User-agent: Yandex
Disallow: /
告诉搜索引擎停止抓取我的应用页面(php app)。但是如何在GAE中通过IP阻止它们?
答案 0 :(得分:0)
有两种方法。
在您的代码中执行此操作。
使用DOS工具https://developers.google.com/appengine/docs/python/config/dos