充斥着流量，应用引擎日志中报告的远程IP从10开始

Question

我托管了一个Web服务，并且最近根据附加的日志从10个以10开头的IP地址获取了许多HTTP请求（每秒高达数千个）。根据我有限的网络知识，此前缀表示IP是本地IP，而不是WAN IP。为什么应用引擎会报告来自Google自己的局域网IP的流量？此外，正因为如此，我似乎无法将IP范围列入黑名单，这在配额费用方面花了我很多钱！有关为什么我会在这些请求的日志中看到本地IP地址以及如何在它们到达我的应用程序之前阻止它们的任何想法？

Answer 1

令人尴尬的是，有一个明显的原因，谷歌应用引擎应用程序会看到一个带有前缀10的IP - 它是谷歌的Crawler。问题是我生成了太多唯一的URL，并且它试图抓取所有这些URL，导致我看到的猥亵交通量。因此，在某种程度上，我通过让爬虫知道太多唯一的URL来攻击自己。一个简单的robots.txt修复似乎可以完成这个流量的工作，尽管一个机器人用＆＃34; User-agent：Feedfetcher＆＃34;仍在访问该网站。事后看来很明显但也许会帮助别人。