Question

我想要一个HTML表并解析它以获取字典列表。每个列表元素都是对应于表中行的字典。

例如，如果我有一个包含三列（由标题标记标记），“事件”，“开始日期”和“结束日期”的HTML表格，并且该表有5个条目，我想通过解析该表获取长度为5的列表，其中每个元素都是一个带有“事件”，“开始日期”和“结束日期”键的字典。

感谢您的帮助！

Answer 1

您应该使用一些HTML解析库，例如lxml：

from lxml import etree
s = """<table>
  <tr><th>Event</th><th>Start Date</th><th>End Date</th></tr>
  <tr><td>a</td><td>b</td><td>c</td></tr>
  <tr><td>d</td><td>e</td><td>f</td></tr>
  <tr><td>g</td><td>h</td><td>i</td></tr>
</table>
"""
table = etree.HTML(s).find("body/table")
rows = iter(table)
headers = [col.text for col in next(rows)]
for row in rows:
    values = [col.text for col in row]
    print dict(zip(headers, values))

打印

{'End Date': 'c', 'Start Date': 'b', 'Event': 'a'}
{'End Date': 'f', 'Start Date': 'e', 'Event': 'd'}
{'End Date': 'i', 'Start Date': 'h', 'Event': 'g'}

Answer 2

Sven Marnach excellent solution可以直接翻译成ElementTree，这是最新Python发行版的一部分：

from xml.etree import ElementTree as ET

s = """<table>
  <tr><th>Event</th><th>Start Date</th><th>End Date</th></tr>
  <tr><td>a</td><td>b</td><td>c</td></tr>
  <tr><td>d</td><td>e</td><td>f</td></tr>
  <tr><td>g</td><td>h</td><td>i</td></tr>
</table>
"""

table = ET.XML(s)
rows = iter(table)
headers = [col.text for col in next(rows)]
for row in rows:
    values = [col.text for col in row]
    print dict(zip(headers, values))

与Sven Marnach的答案相同的输出......

Answer 3

解析HTML表的最简单方法是使用pandas.read_html() - 它接受URL和HTML。

import pandas as pd
url = r'https://en.wikipedia.org/wiki/List_of_S%26P_500_companies'
tables = pd.read_html(url) # Returns list of all tables on page
sp500_table = tables[0] # Select table of interest

唯一的缺点是read_html()没有保留超链接。

Answer 4

如果HTML 不是 XML，则无法使用 etree 执行此操作。但即便如此，您也不必使用外部库来解析HTML表。在python 3中，您可以使用HTMLParser中的html.parser来达到目标。我有简单派生的HTMLParser类here in a github repo的代码。

您可以通过以下方式使用该类（此处命名为HTMLTableParser）：

import urllib.request
from html_table_parser import HTMLTableParser

target = 'http://www.twitter.com'

# get website content
req = urllib.request.Request(url=target)
f = urllib.request.urlopen(req)
xhtml = f.read().decode('utf-8')

# instantiate the parser and feed it
p = HTMLTableParser()
p.feed(xhtml)
print(p.tables)

此输出是表示表的2D列表的列表。看起来可能是这样的：

[[['   ', ' Anmelden ']],
 [['Land', 'Code', 'Für Kunden von'],
  ['Vereinigte Staaten', '40404', '(beliebig)'],
  ['Kanada', '21212', '(beliebig)'],
  ...
  ['3424486444', 'Vodafone'],
  ['  Zeige SMS-Kurzwahlen für andere Länder ']]]

将HTML表解析为Python列表？

4 个答案: