在分布式文件系统

Question

我需要在分布式文件系统上导出ASCII文件。目前，我在每个节点上以附加模式打开文件流到同一文件。然后逐个节点地按顺序导出所有数据。此解决方案是否可以在分布式文件系统上正常运行，还是必须使用MPI-I / O？ 似乎我不太了解并行文件系统的概念。

P.S。该文件必须是ASCII。

Answer 1

使用MPI-I / O，您无法并行地在文件末尾附加数据。您可以将数据并行写入文件的特定位置（每个MPI进程分配到不同的位置），因此您需要知道每个进程的偏移量。这可能不适用于ASCII文件。

另一种选择是通过每个MPI进程（并行）编写单独的文件，然后将这些文件合并到并行程序范围之外的单个文件中。