我有1500个人的数据,每个人有大约10000个功能,每个功能都有一个值。有一个名为dict_f的字典,dict_f = {'name':value,'f1':value,'f2':value,.......}的关键是人的特征。例如:
name f1 f2 f3 f4 ............
name1 1 2 3 4
name2 1.1 2.1 3.1 4.1
...............................
我想将这些数据写入cvs文件,然后在另一个代码文件中,我想将cvs文件写入带有pandas的数据框。但我发现写每个人的价值时间(dict_f,请注意每个人的特征价值不同)大概是1.4s。因此1500人的数据大约需要1500 * 1.4。所以时间很长,我希望减少时间并提高向csv写入数据的速度。
代码的某些部分正在跟随(请注意,lst_field_names_0是功能名称列表):
with open('data/feature_data_0_0.csv', mode='wt', encoding='utf-8') as outfile:
fieldnames = lst_field_names_0
writer = csv.DictWriter(outfile, fieldnames, restval='""', dialect=csv.unix_dialect)
writer.writeheader()
for i in range(0, len(name_list), 1):
writer.writerow(dict_f)
然后我想用pandas来读取cvs文件,
feature_dataframe = pd.read_csv('data/feature_data_0_0.csv')
你能帮我提高写cvs文件的速度。
提前致谢!