使用git-annex管理许多小(~5KB)文件

时间:2015-11-01 22:52:44

标签: git file git-annex

我一直在使用git-annex一段时间来管理我的数据,我发现它非常令人满意。

然而,在处理我的神经影像学数据时,git附件的表现非常缺乏。这种数据通常包含许多图像文件(5KB),例如每个实验每个参与者大约36.000。您可以看到,即使是一些实验,我的数据存储库也能累积超过一百万个文件。

运行git annex syncgit annex get时,有什么方法可以缓解巨大的延迟?如果没有,是否有任何(大致)类似的软件可以让我管理多个神经影像数据库?

1 个答案:

答案 0 :(得分:1)

我同意db48x。如果无法更改神经影像学软件,您可以在每个实验中使用一个容器(~180mb是合理的大小)并使用git-annex存储它。对于数据访问,您将此文件作为额外的文件系统挂载,并在内存中使用环回。这应该会大大减少git-annex的访问时间和负担。