在.http：//www.google.com/#q=vigilante+mic'中添加了汤号（＆＃39; .r a＆＃39;）;在python BeautifulSoup中给出空列表

Question

我正在使用BeautifulSoup从谷歌搜索结果页面中提取所有链接。 这是代码的片段：

    import requests,bs4

    res = requests.get('https://www.google.com/#q=vigilante+mic')

    soup = bs4.BeautifulSoup(res.text)

    linkElem = soup.select('.r a')

现在，汤。选择（＆＃39; .r a＆＃39;）正在返回一个空列表

三江源

Answer 1

因为你正在使用的网址：

https://www.google.com/#q=vigilante+mic

是搜索的javascript版本。如果你curl，你会看到html中没有答案。发生这种情况是因为结果是通过javascript获取的，而请求并没有处理。

试试这个其他网址（不是基于javascript的）：

https://www.google.com/search?q=vigilante+mic

现在可行：

import requests,bs4

res = requests.get('https://www.google.com/search?q=vigilante+mic')

soup = bs4.BeautifulSoup(res.text)

linkElem = soup.select('.r a')