我需要备份数据库文件。需要像github这样的东西,它可以满足100亿GB的数据需求

时间:2012-09-25 20:36:47

标签: github storage

在加载到DBMS之前,我希望在文本中有相当大量的数据库数据的源控制环境。我们一直在使用GITHUB和它的伟大。但他们希望存储库小于1千兆字节,我们有数百个。

它可能在CVS或SVN中,但跟踪版本很重要。这些数据非常静态,只能以较低的费率访问,比如每周一次,每月一次,更多。

任何建议的地方/服务都是这样做的?它不一定是免费的,我们很乐意支付合理的金额。

1 个答案:

答案 0 :(得分:0)

我确认这种数据量与版本控制系统不兼容(用于记录历史记录,即主要是文本文件和小二进制文件的演变)

它肯定与分布式 VCS不兼容,其中任何克隆都会克隆所有回购。

您需要查看 cloud services 此类存储空间。


OP抗议(downvote),声明:

  

它们是普通的ASCII,除了GitHub具有如此小的文件大小限制,我通过ZIP压缩运行它们   它们很少改变,当内容改变时,它只是文件中的一小部分行   它正是版本控制的内容。其中0.005%的ASCII改变了?谁改变了?当α

我坚持认为:

  • 数百兆字节与大多数源代码控制repo提供程序不兼容(它甚至与大多数内部 enterprise repos不兼容,而且我在大型公司中)
  • 将它们放在zip文件中是不实际的,因为版本控制工具系统无法记录增量。

您需要保持单独

  • 数据(将“其他地方”存储为纯文本文件的大量内容,当然不在GitHub上)
  • 您想要的元数据(作者,修改日期),存储在与“shell”数据相关联的常规git仓库中(即,您的文件实际上是“引用”,或者是“符号链接”,实际文件放在别处)

一个系统,基于Git,提供git-annex,使用您自己的云存储(如果已实施)git-annex assistant:请参阅roadmap