如何将72GB转储文件导入git？

Question

我已经使用cvs2git（cvs2svn）迁移了一个旧的cvs存储库。结果转储文件现在是72GB大，我通过git fast-import导入转储的试验总是因为内存不足错误而失败：

  

致命：内存不足，malloc失败（尝试分配 6196691字节）
      快速导入：将崩溃报告转储到fast_import_crash_13097
      错误：git-fast-import死于信号11

我的系统有32GB RAM和50GB交换。我正在使用Git 1.8.3.4（gcc44，python2.6.8，cvs2svn2.4.0）在Red Hat 5.3上运行导入。我还试图限制堆栈大小和文件描述符，但内存错误仍然存​​在。

有人有任何想法吗？

Answer 1

这个想法是：

• split the cvs repo （每个回购应代表“coherent component”）
• 清理其内容（任何可以重新生成的大二进制文件，或者存储在工件引用中的其他地方，应该被排除在cvs repo之外），因为git doesn't deal well with large files。

然后你将cvs（sub-）repos导入到单独的git repos中 由于git是分布式的，而不是集中式的，因此您希望保持每个git repo的大小合理。

Answer 2

我也面临同样的问题但现在已经解决了。请下载最新的cvs2svn，其中包含大大减少转储大小的修复程序。它减少了符号提交的元数据。版本是cvs2git 2.5或更高版本。

（您可以查看https://github.com/mhagger/cvs2svn/commit/fd177d0151f00b028b4a0df21e0c8b7096f4246b）

中所做的更改