如何创建一次数据帧但多次追加?
我的脚本中有两个数据帧。 staging每天从API(我用csv测试逻辑)中提取信息并对其进行计算。 permanent根据计算附加暂存行。暂存将始终具有更改的行和值,永久永久永久只是将新行添加到其中。
代码到目前为止:
import pandas as pd
staging = pd.read_csv('~/Desktop/test.csv').dropna(axis = 0, how='all')
permanent = pd.DataFrame()
for data in staging:
permanent=permanent.append(staging,ignore_index=False).drop_duplicates()
但是每次脚本运行代码行来创建一个空白的永久df得到运行并将永久df清空回到(0,0)。 我如何只创建一次永久性并不断追加它?
答案 0 :(得分:1)
您的代码是如何构建的?
如果permenant = pd.DataFrame()
处于循环中,请将其置于循环之外:
permenant = pd.DataFrame()
while fetch_data:
# ...append permenant with staging data... #
如果您每次都重新运行脚本,当然这会导致您的permenant
为空,因为内存中没有任何内容。将您的permenant
导出为您选择的格式(例如csv
或pickle
),然后根据您选择的格式加载它:
permenant = pd.read_csv('myfile')
# ...append permenant with staging data... #
permenant = pd.to_csv('myfile')
quit()