Question

我试图在Elasticsearch中将中文csv索引为文档。 CSV中的数据以以下字节开头：

b'Chapter,Content,Score\r\n1.1.1,\xacO\xa7_\xa4w\xc5\xe7\xc3\xd2\xab~\xbd\xe8\xa8t\xb2\xce\xa9\xd2\xbb\xdd\xaa\xba\xa6U\xb6\xb5\xba\xde\xa8\xee\xacy\xb5{\xa1H,1\r\n1.1.2,\xab~\xbd\xe8\xba\xde\xb2z\xa8t\xb2\xce\xacO\xa7_\xb2\xc5\xa6XISO\xbc\xd0\xb7\xc7\xaa\xba\xadn\xa8D\xa1H,1\r\n'

代码很简单，如下所示

import csv
import json
import pandas as pd
from elasticsearch import Elasticsearch
es=Elasticsearch("https://xxx.us-east-1.es.amazonaws.com/")
from elasticsearch import helpers
import codecs
def csv_reader(file_name):
es = Elasticsearch("https://xxx.us-east-1.es.amazonaws.com/")
with codecs.open(file_name, 'r', 'utf-8') as outfile:
    reader = csv.DictReader(outfile)
    helpers.bulk(es, reader, index="checklist", doc_type="quality")
if __name__ == "__main__":
with open('checklist1.csv') as f_obj:
    csv_reader('checklist1.csv')

然后显示以下错误消息：

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xac in position 0: invalid start byte

Answer 1

该文件不是UTF8编码的，从错误中可以很清楚地看出。用编辑器打开csv可能是latin2，这显然是错误的，因为它不包含汉字。果然，使用该编码“有效”（不会引发错误），但是很乱：

Chapter,Content,Score
1.1.1,ŹO§_¤wĹçĂŇŤ~˝č¨t˛ÎŠŇťÝŞşŚUśľşŢ¨îŹyľ{ĄH,1

在standard encodings shipping with python中，有big5和big5hkscs分别适用于繁体中文。 print修改后，两者的结果相同：

Chapter,Content,Score
1.1.1,是否已驗證品質系統所需的各項管制流程？,1

只有讲中文的人才能回答是否有意义，但是转换成功而没有错误的事实有点希望。

Answer 2

这是您问题的可复制示例。您必须使用正确的编码。注意codecs是一个旧模块，Python 3中的内置open直接与编码一起使用：

import csv

s = b'Chapter,Content,Score\r\n1.1.1,\xacO\xa7_\xa4w\xc5\xe7\xc3\xd2\xab~\xbd\xe8\xa8t\xb2\xce\xa9\xd2\xbb\xdd\xaa\xba\xa6U\xb6\xb5\xba\xde\xa8\xee\xacy\xb5{\xa1H,1\r\n1.1.2,\xab~\xbd\xe8\xba\xde\xb2z\xa8t\xb2\xce\xacO\xa7_\xb2\xc5\xa6XISO\xbc\xd0\xb7\xc7\xaa\xba\xadn\xa8D\xa1H,1\r\n'

# Create a file with your sample byte string
with open('checklist.csv','wb') as f:
    f.write(s)

# Open it with the correct encoding and newline requirements for using DictReader.
with open('checklist.csv',encoding='big5',newline='') as f:
    r = csv.DictReader(f)
    for line in r:
        print(line['Content'])

输出：

是否已驗證品質系統所需的各項管制流程？
品質管理系統是否符合ISO標準的要求？

读取带有中文字符的CSV文件时出现UnicodeDecodeError

2 个答案: