Question

我使用lxml和JSON库在Python中编写了一个基本的Web scraper。以下代码段详细说明了我目前写入CSV的方式：

with open(filepath, "ab") as f:

                write = csv.writer(f) 

                try:
                    write.writerow(["allhomes",
                                    statenum,
                                    statesubnum,
                                    suburbnum,
                                    listingnum,
                                    listingsurlstr,
                                    '',  # fill this in! should be 'description'
                                    node["state"],
                                    node["suburb"],
                                    node["postcode"],
                                    node["propertyType"],
                                    node["bathrooms"],
                                    node["bedrooms"],
                                    node["parking"],
                                    pricenode,
                                    node["photoCount"],
                                    node2["pricemin"],
                                    node2["pricemax"],
                                    node2["pricerange"]])
                except KeyError, e:
                    try:
                        write.writerow(["allhomes",
                                        statenum,
                                        statesubnum,
                                        suburbnum,
                                        listingnum,
                                        listingsurlstr,
                                        '',  # fill this in! should be 'description'
                                        node["state"],
                                        node["suburb"],
                                        node["postcode"],
                                        node["propertyType"],
                                        '',
                                        node["bedrooms"],
                                        node["parking"],
                                        pricenode,
                                        node["photoCount"],
                                        node2["pricemin"],
                                        node2["pricemax"],
                                        node2["pricerange"]])
                    except KeyError, e:
                            errorcount += 1
                            with open(filepath, "ab"):  #
                                write = csv.writer(f)
                                write.writerow(["Error: invalid dictionary field key: %s" % e.args,
                                                statenum,
                                                statesubnum,
                                                suburbnum,
                                                listingnum,
                                                listingsurlstr])
                    pass
                pass

问题是，如果某个节点不存在（最常见的是“浴室”节点），我必须再次尝试将浴室节点替换为空白值，或者随后放弃整行数据。我目前的方法是再次尝试并通过删除Bathrooms节点来写行，但这很麻烦（并且不会修复其他节点的KeyErrors）。

如果不存在或不包含任何数据，如何在这种情况下写入单个节点而不牺牲整个条目？

非常感谢。

Answer 1

如果你必须使用这样的密钥，我过去用web抓取的一种方法是创建一个处理错误的包装器，然后返回值。

def get_node(name, node):
    try:
        val = node[name]
    except KeyError:
        val = 'na'
    return val

write.writerow(['allhomes',
                get_node('bathrooms', node),
                ...
               ])

Answer 2

我上面遇到了同样的问题，但DictWriter。为@ Jeff的回答+1，帮助我。不得不稍微修改它以处理Dicts，但希望能帮助其他人：

def check_val(item_value):
    try:
        if my_data.get(item_value):
            val = something.get(item_value)
    except:
        val = None

    return val

writer.writerow({

                 'item_key' : check_val('item_value'),
                 ...
})

通过检查（通过check_val函数）值是否先存在，如果不是，则可以避免KeyError。您还可以扩展if语句下的逻辑，以便从嵌套列表和字典中提取数据，如果您有可能存在或不存在的数据，这也非常有用。

如何优雅地解决Python KeyError（Python csv库）

2 个答案: