美丽的汤。找不到任何东西

时间:2020-01-04 01:49:33

标签: python beautifulsoup

我正在尝试在Facebook网上论坛中删除帖子:

URL = 'https://www.facebook.com/groups/110354088989367/'

headers = {
    "User-Agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'
}


def checkSubletGroup():
    page = requests.get(URL, headers=headers)
    soup = BeautifulSoup(page.content, 'html.parser')
    posts = soup.find_all("div", {"class_": "text_exposed_root"})
    print(soup.prettify())
    for post in posts:
        print(post)


checkSubletGroup()

带有div的{​​{1}}很明显在那里,因为当我在class="text_exposed_root"中搜索时,可以通过 CTRL f 找到它,但是当我执行print(soup.prettify())时,它返回的是一个空列表,显然还有许多其他的类名。

请帮助。

2 个答案:

答案 0 :(得分:2)

问题在于所有这些<div>都在注释掉的HTML块中。

类似的方法可以解决该问题:

soup = BeautifulSoup(page.text.replace('<!--', '').replace('-->', ''), 'html.parser')

之后,您可以简单地执行以下操作:

posts = soup.find_all('div', 'text_exposed_root')

我希望这会有所帮助。

答案 1 :(得分:0)

使用关键字参数检查类时,您仅需要使用class_,因为class是Python保留字,不能用作变量。如果将属性作为字典传递,则只需使用class

应该是

posts = soup.find_all("div", {"class": "text_exposed_root"})

posts = soup.find_all("div", class_ = "text_exposed_root")