如何在python中读取大文件(gb)?

时间:2019-09-30 14:26:47

标签: python pandas csv

我反复听到这个问题。在这些情况下,我没有任何实际经验。 我可以学习并获得许多方法/想法来做到这一点,所以想了解

1) What would be the best approach ?
2) What would be the efficient way to do this ?

根据我的看法,我打算将巨大的文件大小分解为较小的文件(我的意思是Batches)。 假设我有2个文件,其中有要处理的数据(每个文件sortedun-sorted的顺序)。 当然,读取如此大的文件会导致内存错误(根据RAM无法加载文件)。

1) How can it be achieved through Python ?
2) Best time saving and efficient method ?
3) Can Python-Pandas achieve this ? If yes, how ?

很好奇您的来信。请帮助我。

0 个答案:

没有答案