我有一个pandas.dataframe,其行数约为1500000
。
我写了一个处理数据集的函数,并填充表格的一行中的每一列。
我正在尝试确定完成任务的最佳方法:当我强制停止运行填充函数的python脚本时,如何保存当前不完整的表?并且下一次填充功能加载表并继续填充已停止的行(理想情况下甚至是已停止的列)。
我认为我需要捕获KeyboardInterrupt
异常并使用方法pandas.to_csv('temp.csv')
保存表格,并在填充函数的开头检查'temp.csv'
是否存在。 但是如何确定我需要开始填充的行(以及此行中的列)以及这种中断是否安全?