使用python从源代码中抓取文本

Question

我正在尝试使用python和selenium来搜索谷歌搜索结果。我只能获得第一个搜索结果。这是我正在使用的代码。

        driver.get(url)
        res = driver.find_elements_by_css_selector('div.g')
        link = res[0].find_element_by_tag_name("a")
        href = link.get_attribute("href")

如何获得所有搜索结果？

Answer 1

尝试获取链接列表（仅限第一页。如果您需要抓取更多页面，则需要在循环中单击“下一步”按钮并附加以下页面中的结果），如下所示：

href = [link.get_attribute("href") for link in driver.find_elements_by_css_selector('div.g a')]

P.S。您也可以使用this question中的解决方案将结果作为GET请求响应requests lib