Question

我正在开发一个程序，需要取两个文件并合并它们并将union文件写成一个新文件。问题是输出文件包含类似于此\xf0的字符，或者如果我更改了某些编码，则结果类似于\u0028。输入文件以utf8编码。如何在"è"或"ò"和"-"

等输出文件字符上打印

我已经完成了这段代码：

import codecs
import pandas as pd
import numpy as np


goldstandard = "..\\files\file1.csv"
tweets = "..\\files\\file2.csv"

with codecs.open(tweets, "r", encoding="utf8") as t:
    tFile = pd.read_csv(t, delimiter="\t",
                        names=['ID', 'Tweet'],
                        quoting=3)

IDs = tFile['ID']
tweets = tFile['Tweet']

dict = {}
for i in range(len(IDs)):
    dict[np.int64(IDs[i])] = [str(tweets[i])]


with codecs.open(goldstandard, "r", encoding="utf8") as gs:
    for line in gs:
        columns = line.split("\t")
        index = np.int64(columns[0])
        rowValue = dict[index]
        rowValue.append([columns[1], columns[2], columns[3], columns[5]])
        dict[index] = rowValue

import pprint
pprint.pprint(dict)
ndic = pprint.pformat(dict, indent=4)
f = codecs.open("out.csv", "w", "utf8")
f.write(ndic)
f.close()

这是输出的例子

   desired: Beyoncè
   obtained: Beyonc\xe9

Answer 1

您正在制作 Python字符串文字，此处：

import pprint
pprint.pprint(dict)
ndic = pprint.pformat(dict, indent=4)

漂亮打印对于生成调试输出很有用;对象通过repr()传递，以使不可打印和非ASCII字符易于区分和重现：

>>> import pprint
>>> value = u'Beyonc\xe9'
>>> value
u'Beyonc\xe9'
>>> print value
Beyoncé
>>> pprint.pprint(value)
u'Beyonc\xe9'

é字符在Latin-1范围内，在ASCII范围之外，所以它用语法表示，在Python代码中使用时再次生成相同的值。

如果要将实际字符串值写入输出文件，请不要使用pprint。在这种情况下，您必须自己进行格式化。

此外，pandas数据帧将保存 bytestrings ，而不是unicode个对象，因此此时您仍然有未解码的UTF-8数据。

就个人而言，我甚至不打扰在这里使用熊猫;您似乎想要编写 CSV 数据，因此我简化了您的代码以使用csv模块，而我实际上并不打算在这里解码UTF-8（这对于这种情况是安全的，因为输入和输出完全是UTF-8）：

import csv

tweets = {}
with open(tweets, "rb") as t:
    reader = csv.reader(t, delimiter='\t')
    for id_, tweet in reader:
        tweets[id_] = tweet

with open(goldstandard, "rb") as gs, open("out.csv", 'wb') as outf:
    reader = csv.reader(gs, delimiter='\t')
    writer = csv.reader(outf, delimiter='\t')
    for columns in reader:
        index = columns[0]
        writer.writerow([tweets[index]] + columns[1:4] + [columns[5])

请注意，您确实希望避免使用dict作为变量名称;它掩盖了内置类型，我改为使用tweets。

Python在字符编码上出现问题

1 个答案: