Question

我正在尝试将数据抓取到span类中，并使用Beautifulsoup将其放入DataFrame中。到目前为止，我已经成功地找到了正确的网页位置。但是似乎无法刮除“幸福”，“悲伤”旁边的关键字和数字。

UsedProduct

如果有人可以帮助我找出幸福和悲伤旁边的所有数字，并将其作为大熊猫DataFrame中的列，它将非常有帮助。

非常感谢

Answer 1

您可以做类似的事情

from bs4 import BeautifulSoup

s = """
<span class="text-border tooltips" data-original-title="Happiness 84%
 Sadness 80%
 " data-placement="left" data-toggle="tooltip">More stats</span>,
 <span class="text-border tooltips" data-original-title="Happiness 70%
 Sadness 59%
 " data-placement="left" data-toggle="tooltip">More stats</span>
"""

soup = BeautifulSoup(s, "lxml")
spans = soup.find_all("span") #get all spans
for span in spans:
    data = span["data-original-title"].split("\n") #get attr and split by \n 
    happiness = data[0][:-1].replace("Happiness ", "") #remove % and remove words
    sadness = data[1][:-1].replace("Sadness ", "")
    print("{} {}".format(happiness, sadness))

Answer 2

如果可以确保所有范围都具有数据原始标题...，并且标题始终始终为"Happiness<SPACE><PERCENTAGE><NEW LINE>Sadness<SPACE><PERCENTAGE>"格式，那么下面应该为您解决。

>>> import itertools
>>> import re
>>> import pandas as pd
>>> import bs4
>>> html = """<span class="text-border tooltips" data-original-title="Happiness 84%
...  Sadness 80%
...  " data-placement="left" data-toggle="tooltip">More stats</span>,
...  <span class="text-border tooltips" data-original-title="Happiness 70%
...  Sadness 59%
...  " data-placement="left" data-toggle="tooltip">More stats</span>"""
>>> soup = bs4.BeautifulSoup(html, 'lxml')
>>> all_rows = []
>>> for span in soup.find_all('span'):
...     title_eles = re.split(' |\n', span['data-original-title'])
...     title_eles = list(filter(None, title_eles))
...     row = dict(itertools.zip_longest(title_eles[::2], title_eles[1::2], fillvalue=""))
...     all_rows.append(row)
...
>>> pd.DataFrame(all_rows)
  Happiness Sadness
0       84%     80%
1       70%     59%

soup.find_all(class_='data-original-title')返回空的原因还在于data-original-title是HTML中的一个属性。这不是一堂课。

使用beautifulsoup python在span类HTML中刮取值

2 个答案: