如何避免Google网站站长工具API限制

Question

我刚刚编写了一个应用程序，它可以解决Google网站管理员工具的抓取问题。 API每个请求的限制为100个条目。是否有任何解决方案或解决方法可以一次性解决所有爬网问题？

Answer 1

Google Api查询瓶颈问题通常可以通过静态/动态内部线程运行速率（即使用线程池/缓冲区的java并发）控制每个或（批处理）查询线程来解决。简而言之，您可能希望拥有自己的查询线程控制器。