Python搜索抓取

时间:2016-02-15 21:42:10

标签: python web-scraping

如何编写与浏览器交互的Python程序?即我想编写一个程序,将字符串(或列表)中的字符串键入(粘贴)到Google中,如果结果不是“找到0匹配”,则复制Google找到的(比如)第一页的URL(进入文本文件)。我的主要问题是我不知道如何让python在浏览器中做事。 (如何粘贴字符串,“按搜索”,查看是否有任何结果......)

2 个答案:

答案 0 :(得分:2)

你不需要刮胡子。 Google提供了您可以使用的搜索API。你可以这样做:

import requests

api_url = 'http://ajax.googleapis.com/ajax/services/search/web?v=1.0&q=%s'
query = 'xxx'
query_url = api_url %query
response = requests.get(query_url).json()
results = response['responseData']['results']
if results:
   first_result_url = results[0]['url']

答案 1 :(得分:1)

Ajax API不再可用,响应指示您使用Google的Custom Search API。

{"responseData": null, "responseDetails": "The Google Web Search API is no longer available. Please migrate to the Google Custom Search API (https://developers.google.com/custom-search/)", "responseStatus": 403}