当前，我的程序如下：

from requests_html import HTMLSession

keyword = input("keyword: ")
url = "http://www.google.fr/search?" + keyword
session = HTMLSession()
r = session.get(url)

listlink = list(set(r.html.absolute_links))

但是该程序运行缓慢。我想知道是否有一种更快的方法来获取google搜索的网址列表（与beautifulSoup或其他。）？

google search API有一个请求限制，这对我来说可能是个问题。

Answer 1

我不确定您要做什么，并且您的代码未在我的计算机上运行。我会为此刺一针。也许这就是你所追求的...

from bs4 import BeautifulSoup
import urllib.request

for numb in ('1', '10'):
    resp = urllib.request.urlopen("https://realfood.tesco.com/search.html?DietaryOption=Vegetarian")
    soup = BeautifulSoup(resp, from_encoding=resp.info().get_param('charset'))

    for link in soup.find_all('a', href=True):
        print(link['href'])

获取Google研究的网址列表？

当前，我的程序如下：

1 个答案: