在搜索引擎中自动搜索

时间:2011-12-05 20:42:19

标签: search-engine

我需要编写一个程序,以便能够使用Google或Bing等搜索引擎在网络中搜索某个字词。例如,我需要给它一个像“史蒂夫乔布斯”这样的词,并将所有前1000页保存在我的电脑上。有没有办法做到这一点?

2 个答案:

答案 0 :(得分:1)

您可以在Google实验室中使用JSON/Atom Custom Search API,但似乎每天只能免费查询100次。

此API允许您指定开始计数和其他参数。它以漂亮的JSON形式返回,因此您可以轻松地解析它们。

您需要一个API密钥才能使用它。

答案 1 :(得分:0)

Google似乎已弃用其搜索API http://code.google.com/apis/websearch/

他们有一个新的自定义搜索引擎,它似乎仅限于你特定的网站的一个子集,但我可能是错的。

Bing有一个活跃的,http://www.bing.com/developers/s/APIBasics.html

要获得1000个结果,您可能需要提交包含分页信息的多个请求。

根据您检索的内容,注意API查询限制和数据使用策略。