Python3:如何以最快的方式编写大量的cvs文件列

时间:2016-11-11 04:02:33

标签: csv dataframe python-3.5 file-writing

我有1500个人的数据,每个人有大约10000个功能,每个功能都有一个值。有一个名为dict_f的字典,dict_f = {'name':value,'f1':value,'f2':value,.......}的关键是人的特征。例如:

name    f1     f2     f3    f4  ............
name1   1      2      3     4
name2   1.1    2.1    3.1   4.1
...............................

我想将这些数据写入cvs文件,然后在另一个代码文件中,我想将cvs文件写入带有pandas的数据框。但我发现写每个人的价值时间(dict_f,请注意每个人的特征价值不同)大概是1.4s。因此1500人的数据大约需要1500 * 1.4。所以时间很长,我希望减少时间并提高向csv写入数据的速度。

代码的某些部分正在跟随(请注意,lst_field_names_0是功能名称列表):

with open('data/feature_data_0_0.csv', mode='wt', encoding='utf-8') as outfile:
    fieldnames = lst_field_names_0
    writer = csv.DictWriter(outfile, fieldnames, restval='""', dialect=csv.unix_dialect)
    writer.writeheader()
    for i in range(0, len(name_list), 1):
         writer.writerow(dict_f)

然后我想用pandas来读取cvs文件,

 feature_dataframe = pd.read_csv('data/feature_data_0_0.csv')

你能帮我提高写cvs文件的速度。

提前致谢!

0 个答案:

没有答案