我正在处理具有多个节点的群集上的一组图像。每个图像都在不同的核心中处理。
在处理期间，输出将保存在临时存储在zarr.DictStore对象中的字典中。在脚本末尾，使用zarr.DirectoryStore函数将字典保存在zarr.copy_store中。
我有〜200个文件，处理开始时会快速保存输出，但生成的奇怪文件越来越慢（最后一个文件〜30分钟）。
-当我运行相同的文件并使用hdf5保存它们时，处理时间没有差异。
-服务器中没有明显的io额外压力。
您知道是奇怪的问题还是操作系统问题？
关于如何找出/解决问题的任何建议？
谢谢