我有一个Pytable,有12列。我想创建一个Pandas dataFrame,其中只包含其中一些,用于处理。
PyTable很长,它有大约8-10百万行。
我试过了,但由于某种原因,这个过程似乎非常缓慢。
我将不胜感激。
这是我的尝试:
import tables as t
import pandas as pd
cols = ['sheet','channel','ChipID','V','I']
df = pd.DataFrame(columns=cols)
with t.open_file(talble, 'r') as pytable:
tab = pytable.get_node('/test_data')
index = 0
for row in tab.where("(testResult == 1)"):
df.loc[index] = [row['sheet'], row['channel'], row['AD0'], row['AD1']]
index+=1
请注意,我只在4列中为我的dataFrame提供了保证,但是PyTable有超过10列。