是否有任何python库来搜索搜索引擎(S)结果?

时间:2010-08-01 23:07:18

标签: python search-engine screen-scraping web-scraping

我正在寻找一个python库来搜索搜索引擎(google,yahoo,bing等)的结果。

我只找到谷歌 - > http://github.com/kevinw/xgoogle/tree/253db7ddc8603a9dcb038ae42684cf3499a22a4b

有人知道多个搜索引擎吗?

4 个答案:

答案 0 :(得分:1)

Scrapy是一个非常酷的抓取框架,但您将拥有代码/配置它以适用于您想要的网站。

答案 1 :(得分:0)

写它们并不难。我通常只使用PHP。查看curl以检索页面,然后查看dom对象和dom xpath。您可以使用xpath选择所需结果的部分。

如果安装firebug和firexpath,Xpa​​th非常简单。我现在正在进行位置检查。同样的想法,但它返回基于关键字的域的位置。

答案 2 :(得分:0)

所有答案都已弃用,如果需要,请使用标准Google API,您可以在24小时内免费发出1000个请求。

您还能尝试什么:

  • 使用请求
  • 使用硒
  • 使用第三方Google库(据我所知,所有库均已弃用)

但是您最终将被阻止,因此最好使用Google支持的API或任何其他付费的API。

答案 3 :(得分:-1)

scrapper,你可以刮bing,google,baida,yahoo.check link