标签: python python-3.x dataframe caching dask
希望您过得愉快!
我在编写基于非常大的Dask数据帧的.csv文件时遇到了问题(这是一些大量合并的结果)。我一直在获取“磁盘上没有空间”错误。起初,我认为这很奇怪,因为运行程序的挂载具有2.9TB的可用磁盘空间,但是经过进一步检查,看来根挂载只有8GB的可用空间,足以装满它。我怀疑发生此错误是因为在Dask的合并和写入过程中,根装载正在缓存所有数据。有没有办法将Python的默认缓存位置更改为更大的安装位置?有没有办法让特定程序自己更改缓存位置?
感谢您的帮助! 干杯