Google如何防止漫游器抓取其API？

Question

大多数Google API都是可公开访问的。 Google如何阻止机器人抓取它们？

Answer 1

没有什么可以阻止废弃公共可用数据的。它甚至可以通过其REST API获得，可以轻松访问而无需进行废弃。

所有不应该被Google丢弃的信息都可以确定客户端的请求率，客户端是否遵循其在URL上的跟踪参数以及从一个URL迁移到另一个URL的速度。由此，他们知道客户是否在报废。
如果他们不希望废弃该资源，则会为该客户端增加指数延迟。