如何使用python获取不是广告的Google搜索的第一个结果?

时间:2017-10-09 00:44:54

标签: python urllib

我试图将一堆澳大利亚公司的财务报表作为pdf。我将所有公司存储在一个pandas数据框中,他们的公司名称位于一个名为“公司”的列中。这是我目前为止搜索网址的代码:

import webbrowser

tabUrl = "http://google.com/?#q="
append = "+financial+report+2017"
file_type = 'filetype%3Apdf+'

for company in data["Company"]:
        googleSearch = tabUrl + file_type + company.replace(" ", "+") + append
        print(googleSearch)

每次搜索都会(不出所料)返回一些广告作为第一个结果。如何打开非广告的第一个结果?

谢谢!

1 个答案:

答案 0 :(得分:2)

现在您正在向Google网页网址发送请求,显示的结果将包含您在google上看到的广告https://www.google.com

更好的方法是使用Google Custom Search API发送您的请求并获取结果。您可以在此处获取文档:https://developers.google.com/custom-search/json-api/v1/using_rest

从他们的文档中,您发现生成 API密钥自定义搜索引擎ID 后,您可以向其服务端点发出REST个请求< / p>

GET https://www.googleapis.com/customsearch/v1?key=INSERT_YOUR_API_KEY&cx=017576662512468239146:omuauf_lfve&q=lectures