Question

我将csv文件转换为python Dataframe。在原始文件中，其中一列包含字符em-dash。我希望它用连字符替换＆＃34; - ＆＃34;。

来自csv的部分原始文件：

 NoDemande     NoUsager     Sens    IdVehicule     NoConduteur     HeureDebutTrajet    HeureArriveeSurSite    HeureEffective'
42192001801   42192002715    —        157Véh       42192000153    ...
42192000003   42192002021    +        157Véh       42192000002    ...
42192001833   42192000485    —      324My3FVéh     42192000157    ...

我的代码：

#coding=latin-1
import pandas as pd
import glob

pd.set_option('expand_frame_repr', False)

path = r'D:\Python27\mypfe\data_test'
allFiles = glob.glob(path + "/*.csv")
frame = pd.DataFrame()
list_ = []
for file_ in allFiles:
    df = pd.read_csv(file_,index_col=None,header=0,sep=';',parse_dates=['HeureDebutTrajet','HeureArriveeSurSite','HeureEffective'],
                      dayfirst=True)
    df['Sens'].replace(u"\u2014","-",inplace=True,regex=True)
    list_.append(df)

它根本不起作用，每次只将它们转换为?，看起来像这样：

42191001122  42191002244    ?            181Véh   42191000114  ...
42191001293  42191001203    ?         319M9pVéh   42191000125  ...
42191000700  42191000272    ?            183Véh   42191000072  ...

因为我在文件中有法语字符，所以我使用的是latin-1而不是utf-8。如果我删除第一行并写如下：

df = pd.read_csv(file_,index_col=None,header=0,sep=';',encoding='windows-1252',parse_dates=['HeureDebutTrajet','HeureArriveeSurSite','HeureEffective'],
                          dayfirst=True)

结果将是：

42191001122  42191002244  â??           181VÃ©h   42191000114   ...
42191001293  42191001203  â??        319M9pVÃ©h   42191000125   ...
42191000700  42191000272  â??           183VÃ©h   42191000072   ...

如何将所有em-dash —替换为-？

我添加了关于repr的部分：

for line in open(file_):
    print repr(line)

结果证明：

'"42191002384";"42191000118";"\xe2\x80\x94";"";"42191000182";...
'"42191002464";"42191001671";"+";"";"42191000182";...
'"42191000045";"42191000176";"\xe2\x80\x94";"620M9pV\xc3\xa9h";"42191000003";...
'"42191001305";"42191000823";"\xe2\x80\x94";"310V7pV\xc3\xa9h";"42191000126";...

Answer 1

u'\u2014'（EM DASH）无法在latin1 / iso-8859-1中编码，因此该值不能出现在正确编码的latin1文件中。

可能文件被编码为windows-1252，u'\u2014'可以编码为'\x97'。

另一个问题是CSV文件显然使用空格作为列分隔符，但您的代码使用分号。您可以使用delim_whitespace=True指定空格作为分隔符：

df = pd.read_csv(file_, delim_whitespace=True)

您还可以使用encoding参数指定文件的编码。 read_csv()会将传入的数据转换为unicode：

df = pd.read_csv(file_, encoding='windows-1252', delim_whitespace=True)

在Python 2中（我认为您正在使用它），如果您未指定编码，则数据仍保留原始编码，这可能是您的替换无效的原因。

正确加载文件后，您可以像以前一样替换字符：

df = pd.read_csv(file_, encoding='windows-1252', delim_whitespace=True)
df['Sens'].replace(u'\u2014', '-', inplace=True)

修改

在您显示repr()输出的更新后，您的文件将显示为UTF8编码，而不是latin1，而不是Windows-1252。由于您使用的是Python 2，因此在加载CSV文件时需要指定编码：

df = pd.read_csv(file_, sep=';', encoding='utf8') df['Sens'].replace(u'\u2014', '-', inplace=True)

由于您指定了编码，read_csv()会将传入数据转换为unicode，因此replace()现在应该如上所示工作。应该那么容易。

在Python中将em-dash转换为连字符

1 个答案: