我正在遍历数据集并获取2个键值,这些键值将是我的索引和一个浮点数数组。像这样:
list_of_lists = []
while True:
data = file_stream.read(8)
if not data:
break
message_size = int.from_bytes(data, byteorder='little')
message.ParseFromString(file_stream.read(message_size))
data_list = [message.key1, message.key2]
data_list.extend(message.Data)
list_of_lists.append(data_list)
return pandas.DataFrame.from_records(list_of_lists, index=['key1','key2'], columns=header_list)
如果我注释掉data_list.extend,它将运行得非常快。扩展使它慢了50倍。
我已经尝试了很多事情,但无法找出将数据放入数据帧的最佳方法。任何有关如何加快此速度的建议将不胜感激。