我一直在使用git-annex一段时间来管理我的数据,我发现它非常令人满意。
然而,在处理我的神经影像学数据时,git附件的表现非常缺乏。这种数据通常包含许多图像文件(5KB),例如每个实验每个参与者大约36.000。您可以看到,即使是一些实验,我的数据存储库也能累积超过一百万个文件。
运行git annex sync
或git annex get
时,有什么方法可以缓解巨大的延迟?如果没有,是否有任何(大致)类似的软件可以让我管理多个神经影像数据库?
答案 0 :(得分:1)
我同意db48x。如果无法更改神经影像学软件,您可以在每个实验中使用一个容器(~180mb是合理的大小)并使用git-annex存储它。对于数据访问,您将此文件作为额外的文件系统挂载,并在内存中使用环回。这应该会大大减少git-annex的访问时间和负担。