从值创建熊猫DataFrame并尽可能高效地列出

时间:2019-08-20 13:05:55

标签: python pandas dataframe optimization

我正在遍历数据集并获取2个键值,这些键值将是我的索引和一个浮点数数组。像这样:

list_of_lists = []
while True:
            data = file_stream.read(8)
            if not data:
                break
            message_size = int.from_bytes(data, byteorder='little')
            message.ParseFromString(file_stream.read(message_size))
            data_list = [message.key1, message.key2]
            data_list.extend(message.Data)
            list_of_lists.append(data_list)
return pandas.DataFrame.from_records(list_of_lists, index=['key1','key2'], columns=header_list)

如果我注释掉data_list.extend,它将运行得非常快。扩展使它慢了50倍。

我已经尝试了很多事情,但无法找出将数据放入数据帧的最佳方法。任何有关如何加快此速度的建议将不胜感激。

0 个答案:

没有答案