我使用python进行自动化已经很长时间了,我尝试使用Web Scarping模块抓取网站数据,但是这使我很难抓取Google搜索结果。我编写了一个脚本来使用bs4模块来简化搜索结果,并使用webbrowser模块在新标签页中打开所有链接,但是脚本不起作用。
#!/usr/bin/python3
import sys
import requests
import webbrowser
import bs4
print('Googling')
res = requests.get('http://google.com/search?q=' + ' '.join(sys.argv[1:]))
res.raise_for_status()
mysoup = bs4.BeautifulSoup(res.text,"html.parser")
link = mysoup.select('.r a')
numOpen = min(5,len(link))
for i in range(numOpen):
webbrowser.open('http://google.com' + link[i].get('href'))
我尝试了上面的脚本,但由于类r类未显示元素或链接而无法使用。 如果有人可以帮助我?