SEOMoz Rank Checker这样的工具如何运作？

Question

似乎有许多工具可以让您检查网站在搜索结果中的位置以查找长关键字列表。我想在我正在开发的分析项目中集成这样的功能，但是我想不出一种方法可以在不违反Google TOS的情况下以如此高的容量（每小时1000次）运行查询，并可能与他们发生冲突。自动查询检测系统（如果你的IP上的搜索量太高，则建立一个CAPTCHA）。

是否有其他方法可以运行这些自动搜索，或者是获取搜索结果页面的唯一方法？

Answer 1

如果您害怕Google的服务条款，请使用第三方来抓取它。

Answer 2

谷歌非常热门禁止/阻止似乎发送自动查询的临时IP地址。当然，这是违反他们的服务条款的。

确切地知道他们如何检测它们也很困难，但主要原因是来自同一IP地址的关键字搜索肯定是相同的。

简短答案基本上是：获取大量代理

更多提示：

• 请勿进一步搜索（例如前10页）
• 在查询相同关键字
之间等待4-5秒
• 确保使用真正的浏览器标题，而不是“CURL ...”
• 当你碰到路障时停止使用IP进行抓取，并等待几天才能使用相同的代理。
• 尝试让您的程序像真实用户一样行事，并且您不会遇到太多问题。

你可以很容易地刮掉Google，但要以非常高的音量进行操作将会很有挑战性。