我反复听到这个问题。在这些情况下,我没有任何实际经验。 我可以学习并获得许多方法/想法来做到这一点,所以想了解
1) What would be the best approach ?
2) What would be the efficient way to do this ?
根据我的看法,我打算将巨大的文件大小分解为较小的文件(我的意思是Batches
)。
假设我有2个文件,其中有要处理的数据(每个文件sorted
和un-sorted
的顺序)。
当然,读取如此大的文件会导致内存错误(根据RAM无法加载文件)。
1) How can it be achieved through Python ?
2) Best time saving and efficient method ?
3) Can Python-Pandas achieve this ? If yes, how ?
很好奇您的来信。请帮助我。