如何解决dask dataframe溢出错误?

时间:2020-10-15 20:44:16

标签: python pandas dataframe dask

我正在使用dask来处理无法容纳到内存中的大型数据帧。

20分钟进入处理过程,python给出错误消息:

OverflowError: cannot serialize a bytes object larger than 4 GiB

但是,尽管有该错误,似乎仍然会继续处理。

有什么办法解决这个问题吗?

0 个答案:

没有答案