csv类编写器:需要类似字节的对象,而不是' str'

时间:2017-04-14 13:56:11

标签: python csv design-patterns

对于个人项目,我尝试将 paterns 包升级到Python 3。 实际上我正在运行测试:db.py,但是我在csv类的' __ init __。py' 文件中遇到以下错误:

这是 save()功能的代码片段: 在那里,我们将 s 定义为 BytesIO()流,因此要求该函数将字节流式传输到 self csv文件。 错误来自以下行:

w.writerows([[csv_header_encode(name, type) for name, type in self.fields]])

TypeError: a bytes-like object is required, not 'str' ( below, also the code for this function)

它假设csv_header_encode传递字节,我检查了它并且确实如此,但不知何故,在转换为列表时它变为' str'。 如果我将 s 编码更改为StringsIO,则抱怨来自

 f.write(BOM_UTF8)

任何帮助将不胜感激。

def save(self, path, separator=",", encoder=lambda v: v, headers=False, password=None, **kwargs):
    """ Exports the table to a unicode text file at the given path.
        Rows in the file are separated with a newline.
        Columns in a row are separated with the given separator (by default, comma).
        For data types other than string, int, float, bool or None, a custom string encoder can be given.
    """
    # Optional parameters include all arguments for csv.writer(), see:
    # http://docs.python.org/library/csv.html#csv.writer
    kwargs.setdefault("delimiter", separator)
    kwargs.setdefault("quoting", csvlib.QUOTE_ALL)
    # csv.writer will handle str, int, float and bool:
    s = BytesIO()
    w = csvlib.writer(s,  **kwargs)
    if headers and self.fields is not None:
        w.writerows([[csv_header_encode(name, type) for name, type in self.fields]])
    w.writerows([[encode_utf8(encoder(v)) for v in row] for row in self])
    s = s.getvalue()
    s = s.strip()
    s = re.sub("([^\"]|^)\"None\"", "\\1None", s)
    s = (s if not password else encrypt_string(s, password)).encode('latin-1')
    f = open(path, "wt")
    f.write(BOM_UTF8)
    f.write(s)
    f.close()

def csv_header_encode(field, type=STRING):
    # csv_header_encode("age", INTEGER) => "age (INTEGER)".
    t = re.sub(r"^varchar\(.*?\)", "string", (type or ""))
    t = t and " (%s)" % t or ""
    return "%s%s" % (encode_utf8(field or ""), t.upper())

1 个答案:

答案 0 :(得分:2)

您可能尝试写入BytesIO对象,但csv.writer()仅处理字符串。来自csv writer objects documentation

  

行必须是字符串或数字

的可迭代

强调我的。 csv.writer()还需要 text 文件才能写入;该对象产生字符串:

  

[...]将用户的数据转换为给定文件类对象上的分隔字符串

使用io.StringIO object代替,或将BytesIO对象包装在io.TextIOWrapper object中以便为您处理编码。无论哪种方式,您都需要将Unicode文本传递给csv.writer()

因为您稍后再次将s.getvalue()数据视为字符串(使用定义为字符串的正则表达式,并使用编码为Latin-1),您可能希望写入文本文件(所以StringIO)。

f.write(BOM_UTF8)失败是单独的问题f已在文本模式('wt')中打开,因此需要字符串,而不是bytes。如果你想写  文本编码为UTF-8的文件,一开始就使用UTF-8 BOM,您可以在打开文件时使用utf-8-sig编码:

open(path, 'w', encoding='utf-8-sig')

通常,您似乎以错误的方式混合字节和字符串。尽可能长时间地将文本保留为文本,并且仅在最后一刻进行编码。这一刻是在位置path处写入文件时,您可以将编码完全保留在文件对象中。