Python Pandas to_dict计算时间慢和非线性

时间:2018-04-18 14:00:12

标签: python pandas dataframe

我有数据框,我使用to_dict将其转换为字典。这里有示例代码。

data = data_raw.head(1000)
start = time.time()
model = data.set_index('modelid-a')['modelname-a'].to_dict()
end = time.time()
print('Finished model')
print(end - start)

对于1000行,计算时间为0.002429秒。

对于2000行,计算时间为0.002743秒。

对于5000行,计算时间为0.004242秒。

对于10,000行,计算时间为0.008217秒。

对于20,000行,计算时间为0.571163秒。

对于50,000行,计算时间为19.83438秒。

对于70,000行,计算时间为47.33981秒。

当我达到150,000时,计算时间为1789秒。

这很痛苦。

我可以做些什么来优化它?

0 个答案:

没有答案