我需要逐行存储数据,然后非常快速地查询数据(接近十亿行),我正在使用数据框:
df = pd.DataFrame({'A':[0,1,2,1,2],'B':[3,4,6,2,4], 'value':range(10, 15)})
- 我可以逐行插入,因为我需要计算每一行,例如使用df.append({'A':3, 'B':6, 'value':20},ignore_index=True)
- 我需要能够在“A”或“B”上查询,并获取另一列和值
然而,这很慢。我正在考虑创建一个双键字典,插入过程确实变得更快,但我怎么能只使用一个键查询它?所以,如果我想得到所有第一个关键字是2例如?
keyed_dic = keyed_dic = ({(0, 3): 10, (1, 4): 11, (2, 6): 12,
(1, 2): 13, (2, 4): 14})
我是否在正确的轨道上尝试使用双键字典来加快数据帧程序的速度?有什么想法吗?
非常感谢!