我需要编写一个程序,以便能够使用Google或Bing等搜索引擎在网络中搜索某个字词。例如,我需要给它一个像“史蒂夫乔布斯”这样的词,并将所有前1000页保存在我的电脑上。有没有办法做到这一点?
答案 0 :(得分:1)
您可以在Google实验室中使用JSON/Atom Custom Search API,但似乎每天只能免费查询100次。
此API允许您指定开始,计数和其他参数。它以漂亮的JSON形式返回,因此您可以轻松地解析它们。
您需要一个API密钥才能使用它。
答案 1 :(得分:0)
Google似乎已弃用其搜索API http://code.google.com/apis/websearch/
他们有一个新的自定义搜索引擎,它似乎仅限于你特定的网站的一个子集,但我可能是错的。
Bing有一个活跃的,http://www.bing.com/developers/s/APIBasics.html
要获得1000个结果,您可能需要提交包含分页信息的多个请求。
根据您检索的内容,注意API查询限制和数据使用策略。