如何使用Perl Google API获取超过1000个Google搜索结果?

时间:2010-09-25 13:24:46

标签: perl

作为一个人,使用常规搜索引擎可以获得不超过1000个结果,这远远超过普通人的需求。

但是,如果我想要获得2000?可能吗?我读过可以使用App Engine或类似的东西(在这里......),但是,有可能通过Perl来实现吗?

1 个答案:

答案 0 :(得分:3)

我不知道如何绕过这个限制,除了使用一系列精确搜索而不是一般搜索。

例如,我可以通过以下方式搜索自己,而不仅仅是“Tim Medora”。

搜索#1:“Tim Medora Phoenix”

搜索#2:“Tim Medora Boston”

搜索#3:“Tim Medora Canada”

但是,如果您尝试使用Google搜索特定网站,则可以阅读该网站的Google站点地图。

例如,www.linkedin.com通过一系列嵌套的站点地图XML文件公开所有8000万+用户/企业:http://www.linkedin.com/sitemap.xml

使用此方法,如果具有良好的Google站点地图,您可以使用自己的搜索算法轻松抓取特定网站。

当然,我绝不建议您利用站点地图进行非法/不友好的目的。