Google上的网络抓取工具遭到破坏

时间:2020-02-21 01:27:03

标签: python python-3.x web-scraping

我正在学习网络爬虫并尝试自己的一种,但是遇到了问题。

此网络抓取者获得'http://google.com/search?q=' + mysearch 但是当我以后汤.select('。r a')时,我一直得到一个空列表。我做了一些检查,发现我要说的页面是

如果您在几秒钟内未重定向,请点击此处

我该如何解决?

import requests, sys, webbrowser, bs4
import argparse

parser = argparse.ArgumentParser()
parser.add_argument("search")
parser.add_argument("-n", "--new", default=1,help="Specify the number of results to open (default: 1)")
args = parser.parse_args()


print('Googling...')

res = requests.get('http://google.com/search?q=' + args.search)
res.raise_for_status()
soup = bs4.BeautifulSoup(res.text,features="lxml")


linkElems = soup.select('.r a')
numOpen = min(int(args.new), len(linkElems))
for i in range(numOpen):
    webbrowser.open('http://google.com' + linkElems[i].get('href'))

感谢您的所有帮助!

0 个答案:

没有答案