MPI-2文件格式选项

时间:2010-11-24 09:05:11

标签: file-io parallel-processing

我正在尝试使用MPI-2加速我的文件I / O,但似乎没有任何方法来读/写格式化文件。我的许多I / O文件都经过格式化,便于进行预处理和后处理。

有关格式化I / O的MPI-2解决方案的任何建议吗?

1 个答案:

答案 0 :(得分:2)

在生成某种便携,合理的文件格式时使用MPI-IO的常见答案是使用HDF5NetCDF4。两者都有一个真实的学习曲线(但也有很多tutorials),但结果是你有可移植的,自我描述的文件,有很多工具可供访问,操作等。

如果通过`格式化'输出你的意思是简单的人类可读的文字,那么作为做了很多这些东西的人,如果我没有敦促你开始远离那个,我就不会做我的工作做法。我们大体上都以这种方式开始,抛弃纯文本,以便我们可以快速查看正在发生的事情;但这对于进行生产运行来说并不是一个好方法。文件臃肿,I / O 方式慢(我常常看到使用ascii和vs二进制文件时减速6倍,部分原因是你一次写出小块,部分是因为字符串转换),为了什么?如果输出的数据太少,实际可以可行地读取和理解输出,则不需要并行I / O;如果有这么多的数字,你不能真正地翻阅它们并理解发生了什么,那么重点是什么?