使用python抓取Google搜索结果

时间:2019-09-23 16:21:14

标签: web-scraping beautifulsoup python-3.7

我使用python进行自动化已经很长时间了,我尝试使用Web Scarping模块抓取网站数据,但是这使我很难抓取Google搜索结果。我编写了一个脚本来使用bs4模块来简化搜索结果,并使用webbrowser模块在新标签页中打开所有链接,但是脚本不起作用。

#!/usr/bin/python3
import sys
import requests
import webbrowser
import bs4
print('Googling')                                                           
res = requests.get('http://google.com/search?q=' + ' '.join(sys.argv[1:]))
res.raise_for_status()
mysoup = bs4.BeautifulSoup(res.text,"html.parser")
link = mysoup.select('.r a')
numOpen = min(5,len(link))
for i in range(numOpen):
    webbrowser.open('http://google.com' +  link[i].get('href'))

我尝试了上面的脚本,但由于类r类未显示元素或链接而无法使用。 如果有人可以帮助我?

0 个答案:

没有答案