Question

尝试从HTML中的表中的行中提取文本，其中每个表数据标记可能有也可能没有嵌套标记。在python中使用lxml库来实现数据提取，但我无法弄清楚如何最好地处理这个问题：

from lxml import etree, html


s = """<table>
  <tr><th>Event</th><th>Start Date</th><th>End Date</th></tr>
  <tr><td>a</td><td>b</td><td>c</td></tr>
  <tr><td><code>d</code></td><td>e</td><td>f</td></tr>
  <tr><td>g</td><td>h</td><td>i</td></tr>
</table>
"""

table = etree.HTML(s).findall("body/table/tr/td")

rows = iter(table)
headers = ['row 1', 'row 2', 'row 3']
for row in rows:
    values = [col.text for col in row]
    print dict(zip(headers, values))

这是我到目前为止的代码，取而代之的是另一个例子。

Answer 1

我会使用BeautifulSoup库中的lxml解析器执行以下操作：

from bs4 import BeautifulSoup
import pandas as pd

s = """<table>
  <tr><th>Event</th><th>Start Date</th><th>End Date</th></tr>
  <tr><td>a</td><td>b</td><td>c</td></tr>
  <tr><td><code>d</code></td><td>e</td><td>f</td></tr>
  <tr><td>g</td><td>h</td><td>i</td></tr>
</table>
"""

soup = BeautifulSoup(s, 'lxml')

headers = [h.text for h in soup.find_all('th')]
rows = soup.find_all('tr')[1:]

dic_list = []
for row in rows:
    data = [i.text for i in row]
    dic = {k:v for k,v in zip(headers, data)}
    dic_list.append(dic)

df = pd.DataFrame(dic_list)
print(df)

这导致：

  End Date Event Start Date
0        c     a          b
1        f     d          e
2        i     g          h

即使子项存在，也可获取表数据的文本 - LXML

1 个答案: