小型集群的对象存储为100bytes-5M值

时间:2019-05-26 22:14:19

标签: storage cluster-computing kivy-language object-storage

i m looking for object storage solution to fit requirements of the project i正在努力。

这是我的要求: 1)我的规模非常小,即典型的安装范围是1到4个节点。当然,在单节点的情况下,我不需要HA或任何类型的可用性..如果节点失败,数据将被计算。万一我m using more than 1 node (3-4) nodes i would like to use replica 2 (survive single node failure) 2) Data i要存储   2.1)中型文件每个〜1MB   2.2)小的元数据对象,对象真的很小..每个〜100字节  视频对象和元数据对象的比率约为1/10(即,元数据对象增加10倍)

3)如果有X2副本,则具有可靠性:如果有1个副本失败,我想继续以“降级”模式工作,并且该群集将开始重新平衡(如果我的群集中有2个以上节点)

数据量很大,即i m going to create medium file every couple of seconds, and 10 metadata objects at same rate. Storage disks are SATA SSD s。

最初,我使用的是普通文件系统,但是几个月后,我开始离开inode(预期是:),所以我现在正在寻找对象存储/ KV解决方案。

我的要求是简单的设置/获取,我不需要花哨的交易/迭代器,并且对象是不可变的。 (无需修改)。

最初,我是在考虑S3`ish对象存储,它看起来是: 1)ceph rados GW,但是看起来像是一个矫kill过正(特别是在单节点的情况下:))

2)seaweedfs-https://github.com/chrislusf/seaweedfs,由于它具有处理小对象的能力,对于单节点安装来说似乎是合理的,但是它对群集/故障转移的支持非常有限。

3)Minio-我尚未对其进行评估。

4)nooba核心(最近由redhat收购)-似乎是非常原始的解决方案,在出现故障的情况下没有可靠性保证。

我什至在考虑使用iscsi或其他配置在mdraid1上配置CLVM并使用单节点minio。

尽管我主要研究的是S3-ish对象存储解决方案,但我不仅限于此。我唯一的要求是开源和免费用于商业用途。并至少具有不错的集群支持。

任何建议都会受到赞赏。

0 个答案:

没有答案