作为一个人,使用常规搜索引擎可以获得不超过1000个结果,这远远超过普通人的需求。
但是,如果我想要获得2000?可能吗?我读过可以使用App Engine或类似的东西(在这里......),但是,有可能通过Perl来实现吗?
答案 0 :(得分:3)
我不知道如何绕过这个限制,除了使用一系列精确搜索而不是一般搜索。
例如,我可以通过以下方式搜索自己,而不仅仅是“Tim Medora”。
搜索#1:“Tim Medora Phoenix”
搜索#2:“Tim Medora Boston”
搜索#3:“Tim Medora Canada”
但是,如果您尝试使用Google搜索特定网站,则可以阅读该网站的Google站点地图。
例如,www.linkedin.com通过一系列嵌套的站点地图XML文件公开所有8000万+用户/企业:http://www.linkedin.com/sitemap.xml。
使用此方法,如果具有良好的Google站点地图,您可以使用自己的搜索算法轻松抓取特定网站。
当然,我绝不建议您利用站点地图进行非法/不友好的目的。