熊猫数据框中的大数据加载

Question

由于我是Big Data Platform的新手，所以我想对我的数据进行一些要素工程工作。数据库大小约为30-50 Gb。是否可以在像pandas数据帧这样的数据帧中加载完整数据（30-50Gb）？

这里使用的数据库是Oracle。我试图加载它，但是内存不足错误。此外，我喜欢在Python中工作。

Answer 1

pandas 不好，如果你有 GBS 的数据，最好使用分布式架构来提高速度和效率。有一个叫做DASK的库，可以加载大数据，使用分布式架构。