使用MPI或串行并行写入文件？

Question

我有一个关于MPI使用的一般问题。

例如，当您要将数据写入文件时，将创建100个文件。

您是否更喜欢使用每个等级（核心）来编写一个文件，或者您更喜欢逐个编写它们？哪个更快？

Answer 1

如果您要将每个等级写入一个文件（连续），则会存在race condition，因此所有写入必须以原子完成。这将使整个写入时间比每个等级写入其自己的文件慢得多。

然而，你需要某种减少，其中reduce连接两个单独的文件。你将不得不加重通信/加入开销与串行写入的等待时间（除非你将文件分成几部分）。