有没有办法在Python中为Netcdf文件执行并行IO?
据我所知,有一个名为PyPNetCDF的项目,但显然它已经过时,没有更新,似乎根本不起作用。有没有人在Python中使用NetCDF并行成功?
非常感谢任何帮助
答案 0 :(得分:2)
太糟糕了,PyPnetcdf并不是更成熟一点。我看到了硬编码路径和被遗弃的域名。看起来编写一些东西需要花费很多时间,但接下来的问题就是让它真正起作用......
,您应该更改library_dirs_list和include_dirs_list,以指向系统中安装了Northwestern / Argonne Parallel-NetCDF的位置以及安装MPI分发的位置。
然后必须通过并更新pypnetcdf调用pnetcdf的方式。几年前(实际上相当多)我们将很多类型推广到更大的版本。
答案 1 :(得分:1)
我从两个python NetCDF模块中找不到好的例子,请参阅https://github.com/Unidata/netcdf4-python/issues/345 但是,如果您只需要读取文件并且它们是NetCDF4格式,您应该可以直接使用HDF5 - http://docs.h5py.org/en/latest/mpi.html 因为NetCDF4基本上是具有受限数据模型的HDF5。可能不会使用NetCDF3。