Question

我正在尝试对此website上的HTML进行解析。

我想使用span从所有这些class = "post-subject"元素中获取文本

示例：

<span class="post-subject">Set of 20 moving boxes (20009 or 20011)</span>

<span class="post-subject">Firestick/Old xbox games</span>

当我在下面运行代码时，soup.find()返回None。我不知道发生了什么事？

import requests
from bs4 import BeautifulSoup


page = requests.get('https://trashnothing.com/washington-dc-freecycle?page=1')
soup = BeautifulSoup(page.text, 'html.parser')

soup.find('span', {'class': 'post-subject'})

Answer 1

为帮助您入门，以下应加载页面，您将需要获取正确的gecko driver，然后可以使用Selenium实施。我看不到任何课程：您链接的页面上的主题后，但您可以通过以下方式自动进行登录的按钮点击：

availbutton = driver.find_element_by_id('buttonAvailability_1')
availbutton.click()

from bs4 import BeautifulSoup
from selenium import webdriver

driver = webdriver.Firefox()
driver.get('https://trashnothing.com/washington-dc-freecycle?page=1')

html = driver.page_source
soup = BeautifulSoup(html,'lxml')
print(soup.find('span', {'class': 'post-subject'}))

Answer 2

我有同样的问题。只需将html.parser更改为html5lib即可。当时正在工作。使用soup.find_all()代替soup.find()也是一个好习惯，因为该函数返回多个对象

美丽的汤find（）返回None？

2 个答案: