将Dask / XArray写入NetCDF-并行IO

时间:2018-09-26 13:31:56

标签: dask netcdf python-xarray dask-distributed netcdf4

我在HPC系统上的分布式集群上使用Dask / Xarray和约150 GB的数据集。我的计算组件已经完成,大约需要30分钟。我想将最终结果保存到NETCDF4文件中,但是将数据写入NETCDF文件的速度非常慢(约3小时),并且似乎不能并行运行。我不清楚Xarray中的“ to_netcdf”函数是否应该支持并行写入。目前,我的方法是使用NetCDF4写入一个空的netcdf文件,然后附加来自Xarray的数据:

bash-4.1$ make -s check
make[3]: stat: ../../src/include/utils/errcodes.h: Permission denied
/bin/sh: line 0: cd: utils/: Not a directory
make[3]: *** [../../src/include/utils/errcodes.h] Error 1
make[2]: *** [submake-errcodes] Error 2
make[1]: *** [submake-libpgport] Error 2
make: *** [submake] Error 2

总体而言,问题是,如何将这些数据快速写入NETCDF4文件? dask / Xarray是否支持NETCDF4的并行写入?如果是这样,那我做错了什么?

谢谢!

0 个答案:

没有答案