使用Python读取CSV时的非ascii字符

时间:2014-04-02 08:12:36

标签: python csv character-encoding

我有一个大的CSV文件(~45MB),大约350.000行和6列。

当我在Python中使用此代码时:

data = open("myextract.csv")
reader = csv.DictReader(data, delimiter=",")

for r in reader:
    #mystuff

仅解析了260.000行。我没有任何错误或线索。但是,在调查过程中,我看到有几列有像小箭头一样的非ascii字符。(我甚至无法在此复制粘贴)

我发现如果列文本是这样的

blah blah blah -the arrow- another blah blah

然后,所有的事情都在 - 之后 - 在那之后排成几行。但是同一行直到解析并存储箭头没有问题。

那么,任何线索如何使用它?

0 个答案:

没有答案