如何从Google自定义搜索下载搜索结果?

时间:2012-08-21 14:18:34

标签: javascript python html search-engine webpage

有些网站提供Google自定义搜索功能。但是当搜索结果出来时,我无法将这些结果保存在原生html中。

例如我想在此网站http://www.asiaone.com/A1Home/A1Home.html上搜索(ITE) 结果页面是:

http://www.asiaone.com/vgn-ext-templating/asiaone/search/A1MultipleSearchResults.jsp?q=%28ITE%29&cx=009076860783986227266%3Atwgr1shu6je

但是当我尝试下载该结果页面的来源时,结果和概要在平面HTML上不可用。

python或其他软件中是否有可以从搜索结果中下载这些概要的库?我有类似的东西,但html源代码没有概要,也没有搜索结果:< / p>

import urllib
url = "http://www.asiaone.com/vgn-ext-templating/asiaone/search/A1MultipleSearchResults.jsp?q=%28" + "ITE" + "%29&cx=009076860783986227266%3Atwgr1shu6je"
html = urllib.urlopen(url).read().decode('UTF-8')
print html 

2 个答案:

答案 0 :(得分:1)

您应该查看Google XML API - 它应该具有您正在寻找的功能。

如果你对获得等效的python很感兴趣,请查看Google的Data API clients - 它们包含工具和示例,可帮助您使用集成的Google数据构建自己的应用。

答案 1 :(得分:1)

我正在尝试访问:https://www.googleapis.com/customsearch/v1?key=&amp; cx = 009076860783986227266:Atwgr1shu6je&amp; q = ITE

我正在输入我从https://code.google.com/apis/console/?api=customsearch获得的密钥。

但是,由于我的密钥与您的cx id无关,因此我收到无效值错误。 你必须把钥匙放在这里并得到结果。

PS:请勿在评论或问题中输入您的密钥。它可能会花钱(https://code.google.com/apis/console/?api=customsearch:billing)

您可以参考https://developers.google.com/custom-search/v1/using_rest#WorkingResults。很明显,你需要做些什么才能得到结果。