替代glusterfs + mongodb用于大型+小文件存储(在kubernetes上)?

时间:2016-12-23 13:26:43

标签: mongodb kubernetes glusterfs

我正在为我们的应用程序堆栈设置一个包含许多不同组件的kubernetes集群,并且我尝试在最小化组件数量的同时平衡存储要求。

我们有一个网络剪贴簿,每天下载成千上万的HTML文件(也许是PDF),我想将它们存储在某处(以及一些JSON元数据)。我希望以冗余可扩展的方式存储文件,但是拥有数百万个小文件似乎不适合例如GlusterFS。

与此同时,我们的系统使用了一些非常大的二进制文件(几千兆字节),也可能是许多较小的二进制文件(10个MB)。这些似乎不适合任何像MongoDB这样的分布式NoSQL DB。

所以我考虑使用MongoDB + GlusterFS来分别解决这两个需求,但我宁愿减少移动件的数量而只使用一个系统。我还阅读了有关使用GlusterFS的各种警告,例如Redhat支持(我们绝对不会支持)。

有人可以推荐替代品吗?我正在寻找一个分布式二进制对象存储的东西,它易于设置/维护,并支持小文件和大文件。我们设置的一个优点是文件很少会被更新或删除(只是写入然后阅读),我们甚至不需要索引(由弹性搜索单独处理)或高速访问读取。

1 个答案:

答案 0 :(得分:2)

你在云端吗?如果在AWS S3中是一个好地方,对象存储听起来就像你想要的那样,但不确定你的要求。

如果不在云中,您可以运行Minio(https://www.minio.io/),这将为您提供与s3相同的对象存储类型。

我现在做类似的事情,我在MongoDB中存储二进制文档,然后用EBS卷备份节点。