Python从多台机器追加到同一文件

时间:2018-08-08 11:10:49

标签: python file-io cluster-computing

我正在使用计算集群来处理数千个作业,这些作业应将其输出附加到共享存储设备上的一组特定文件中。 重要的是要注意,它们仅追加,而不是读写,顺序也不重要。

这会导致在同时添加到同一文件时遇到任何麻烦吗,或者类似的事情会被Python IO缓冲区或文件系统本身正确处理吗?我正在使用

因为我需要将工作分散在不同的内核/机器上(我认为?),所以无法像在单台机器上执行多线程计算时那样写一些公用队列。单项工作。)

1 个答案:

答案 0 :(得分:1)

您可以在$(document).ready(function() { }); (附加)模式下打开同一文件两次,并写入文件而没有问题。首先关闭文件的Python实例将首先将其效果应用到文件。无论哪个实例首先打开文件或首先调用a

示例(按年代顺序排列):

.write()