私有云的AWS S3替代方案

Question

现在我们需要从AWS迁移到私有数据中心。我们需要找出潜在的替代存储而不是AWS S3。 目前S3以下列方式使用：

• 总存储容量为10TB;
• 最小/平均/最大物体尺寸为0.5 / 2/100 Mb;
• 我们有N个App实例同时写/读
  对象大约50次写入/秒，30次读取/秒;
• 此存储应为冗余（高可用性），容错，可扩展;

天真的实现可以将这些数据存储在：

• 简单的NFS存储并添加一些复制功能;
• 只需将提到的对象存储在NoSQL DB中（例如Cassandra中）。但是，Cassandra将需要许多实例来支持此存储（也不建议存储＆gt; 1TB pn 1 Cassandra节点Cassandra capacity planning）

您会为这种情况推荐什么解决方案？

Answer 1

与S3兼容的私有云服务有很多选项。如果你喜欢开源解决方案，那么上面的开放堆栈和Cassandra都是很好的。请注意，通常无论您使用什么，可能最终都会设置具有多个节点的云，这是交换冗余和可用性的必然。还有一些很好的商业和经济产品，例如来自Cloudian

的产品

Answer 2

如果您需要对象存储，我可以推荐elliptics（in english）。 据我所知，它对磁盘存储没有限制。

对于Cassandra，我们使用SSD磁盘（为了更好的性能）＆lt; 200-500 Gb。环大小取决于您的要求（读/写延迟，复制速率，生命周期）。

  

50次/秒，30次读/秒

对于Cassandra来说这真的很容易，因为我可以与我们的设置进行比较。 在这种情况下，它更依赖于你的物体的生命时间。

通常，对于分布式网络，您还可以查看GlusterFS。

Answer 3

您可以使用OpenStack Swift

  

Swift是一个高度可用，分布式，最终一致的对象/ blob存储。组织可以使用Swift高效，安全且廉价地存储大量数据。

了解详情：https://docs.openstack.org/swift/latest/
并https://oldhenhut.com/2016/05/31/s3-vs-swift/

Answer 4

如果您想拥有私有云存储，最好使用MinIO。它与AWS S3兼容，这意味着使用AWS S3的应用程序可以无缝迁移到MinIO。他们提供了有关如何将MinIO服务器与AWS CLI连接的教程。您可以针对公共托管的MinIO服务器https://play.min.io:9000进行测试。请参阅AWS CLI with MinIO Server。

使用MinIO分布式设置，您可以拥有高度可用的存储系统。请注意，动态扩展不是MinIO分布式安装程序的功能。如果要扩展群集，最终需要使用所需数量的服务器/磁盘旋转一个新群集，然后将数据从旧的迁移到新的。

我发现它比HDFS更容易使用。除此之外，Hadoop生态系统之外的许多技术都缺乏HDFS集成。例如，Docker Registry缺少内置的HDFS存储驱动程序。但是，它具有S3驱动程序，因此您可以将MinIO用作对象存储。