我正在学习网络爬虫并尝试自己的一种,但是遇到了问题。
此网络抓取者获得'http://google.com/search?q=' + mysearch
但是当我以后汤.select('。r a')时,我一直得到一个空列表。我做了一些检查,发现我要说的页面是
如果您在几秒钟内未重定向,请点击此处。
我该如何解决?
import requests, sys, webbrowser, bs4
import argparse
parser = argparse.ArgumentParser()
parser.add_argument("search")
parser.add_argument("-n", "--new", default=1,help="Specify the number of results to open (default: 1)")
args = parser.parse_args()
print('Googling...')
res = requests.get('http://google.com/search?q=' + args.search)
res.raise_for_status()
soup = bs4.BeautifulSoup(res.text,features="lxml")
linkElems = soup.select('.r a')
numOpen = min(int(args.new), len(linkElems))
for i in range(numOpen):
webbrowser.open('http://google.com' + linkElems[i].get('href'))
感谢您的所有帮助!