Question

我正在尝试将以下XML转换为CSV。捕获是每个条目可能没有值，因此返回NoneType。例如，在下面显示的XML中，并非每个“条目”都具有“规则”。

如果发生这种情况，我希望CSV文件不包含任何内容或通用值，例如“EMPTY”。我希望CSV文件看起来像这样：

domain    serial     seqno   rule
 1       43434343434    1     21
 1       43434343434    1     21
 1       43434343434    1     EMPTY

通过使用下面显示的列表推导，我能够避免NoneType错误。但是，似乎格式化CSV中的数据是我需要帮助的地方。

rows = [cleanhtml(str(entry))
        for entry in soup.find_all("entry")
        if entry.find(header_list[counter]) is not None]

#!/usr/bin/env python3

import csv
import re
from bs4 import BeautifulSoup

html_results='''<response status="success"><result>
      <job>
        <tenq>09:48:24</tenq>
        <tdeq>09:48:24</tdeq>
        <tlast>18:00:00</tlast>
        <status>FIN</status>
        <id>5955</id>
        <cached-logs>1118</cached-logs>
      </job>
      <log>
        <logs count="100" progress="100">
          <entry logid="4343">
            <domain>1</domain>
            <serial>43434343434</serial>
            <seqno>0</seqno>
            <actionflags>0x0</actionflags>
            <type>EXAMPLE</type>
            <subtype>EXAMPLE</subtype>
            <config_ver>0</config_ver>
            <src>1.1.1.1</src>
            <dst>1.1.1.1</dst>
            <rule>Rule 21</rule>
          </entry>
      <log>
          <entry logid="4343">
            <domain>1</domain>
            <serial>43434343434</serial>
            <seqno>0</seqno>
            <actionflags>0x0</actionflags>
            <type>EXAMPLE</type>
            <subtype>EXAMPLE</subtype>
            <config_ver>0</config_ver>
            <src>1.1.1.1</src>
            <dst>1.1.1.1</dst>
            <rule>Rule 21</rule>
          </entry>'''

def cleanhtml(raw_html):
  tags = re.compile('<.*?>')
  cleantext = re.sub(tags, '', raw_html)
  return cleantext

soup = BeautifulSoup(html_results, 'html.parser')

header_list = ['domain',"serial","seqno","actionflags","type","subtype","config_ver","src","dst","rule"]

query_results = open("query_results.csv","w")

csvwriter = csv.writer(query_results)

csvwriter.writerow(header_list)

num_of_logs = soup.find("logs").get("count")

counter = 0

rows = [cleanhtml(str(entry)) for entry in soup.find_all("entry") if entry.find(header_list[counter]) is not None]

csvwriter.writerows(rows)

query_results.close()

Answer 1

您没有处理您的入境子元素;您只是将每个条目转换为文本并删除XML标记标记。您需要生成一个列表或字典，每个子元素条目都单独说明。

如果您生成嵌套元素的词典，那么csv.DictWriter() class可以为您填写空列，无需额外编码：

def entry_to_dict(entry):
    return {tag.name: tag.get_text() for tag in entry.find_all()}

header_list = ['domain', 'serial', 'seqno', 'actionflags', 'type', 'subtype', 'config_ver', 'src', 'dst', 'rule']

soup = BeautifulSoup(html_results, 'html.parser')
with open("query_results.csv","w") as query_results:
    csvwriter = csv.DictWriter(query_results, header_list, restval='EMPTY')
    csvwriter.writeheader()
    csvwriter.writerows(entry_to_dict(entry) for entry in soup.find_all('entry'))

这里，restval参数告诉作者如何处理每行中的缺失值。 header_list作为字段名称传入，因此编写者知道每行字典中期望的键。

entry_to_dict()只需将条目中的每个嵌套元素转换为字典中的键值对，tag.get_text() function执行将元素内容转换为文本的工作。在

对于您的演示XML数据，这会产生：

>>> import sys
>>> csvwriter = csv.DictWriter(sys.stdout, header_list, restval='EMPTY')
>>> csvwriter.writeheader()
domain,serial,seqno,actionflags,type,subtype,config_ver,src,dst,rule
>>> csvwriter.writerows(entry_to_dict(entry) for entry in soup.find_all('entry'))
1,43434343434,0,0x0,EXAMPLE,EXAMPLE,0,1.1.1.1,1.1.1.1,Rule 21
1,43434343434,0,0x0,EXAMPLE,EXAMPLE,0,1.1.1.1,1.1.1.1,Rule 21

这实际上并不包含任何空元素，但是当我添加一些空元素时，您可以看到EMPTY用于填充以下内容：

>>> html_results += '''</log><log>
...           <entry logid="4343">
...             <domain>1</domain>
...             <serial>43434343434</serial>
...             <seqno>0</seqno>
...             <actionflags>0x0</actionflags>
...             <type>EXAMPLE</type>
...             <subtype>EXAMPLE</subtype>
...             <!-- incomplete entry, config_ver, src, dst and rule missing -->
...          </entry>
...        </log>'''
>>> soup = BeautifulSoup(html_results, 'html.parser')
>>> csvwriter = csv.DictWriter(sys.stdout, header_list, restval='EMPTY')
>>> csvwriter.writeheader()
domain,serial,seqno,actionflags,type,subtype,config_ver,src,dst,rule
>>> csvwriter.writerows(entry_to_dict(entry) for entry in soup.find_all('entry'))
1,43434343434,0,0x0,EXAMPLE,EXAMPLE,0,1.1.1.1,1.1.1.1,Rule 21
1,43434343434,0,0x0,EXAMPLE,EXAMPLE,0,1.1.1.1,1.1.1.1,Rule 21
1,43434343434,0,0x0,EXAMPLE,EXAMPLE,EMPTY,EMPTY,EMPTY,EMPTY

最后一点：考虑安装lxml library，并使用BeautifulSoup中的xml解析器：

soup = BeautifulSoup(html_results, 'xml')

这确保您的XML始终被正确解析（HTML解析器具有XML不应具有的容错能力，并且不区分大小写，这可能会导致混合大小写XML数据出现问题）。 p>

XML到CSV Python 3.5.2

1 个答案: