如何对大数据进行标签编码

Question

我有data，a machine learning task的大小为5 GB。我必须对其进行标签编码，但是数据根本无法读取一次。

用chunksize读取熊猫数据帧是没有意义的，因为编码器必须立即看到整列才能正确编码。

如何处理这种大小的数据？