替换S3FS(S3 Fuse)的解决方案,同时允许自动扩展的Web服务器“按需”访问大型文件

时间:2018-06-19 00:01:11

标签: amazon-s3 amazon-ec2 amazon-cloudfront s3fs aws-ebs

我们已经探索了弹性文件存储(EFS - 有点贵)和跨多个EBS卷同步的S3存储(容易出现同步问题),尽管我们的应用程序需要规模的s3fs(S3 Fuse)的各个方面存在无穷无尽的问题功能。

我们需要在VPC上为5(5)个自动扩展的内存优化EC2实例(LB-ed Web服务器)提供足够的文件上载性能,这些实例与最终用户管理的“资产”共享相同的文件系统结构由申请人维护。

我们尚未探索的潜在解决方案,可以利用我们的CloudFront CDN配置来处理边缘情况下可能高达2GB的文件,或者每个“页面”多达600个文件,每个“页面”的数量从5MB到100MB不等审核/修改。这似乎在规模上存在问题,如果不是比S3FS更多(如果它甚至是一个可行的选项)。

倾向于提高成本效率,但仍然需要考虑性能:

  • EFS是S3FS功能的可行且经济有效的替代选项吗?
  • 大规模EBS卷的成本控制是一个问题,尽管没有统治 作为一个可行的选择,但性能是值得的 增加成本?

  • CloudFront是否能够处理如上所述的负载?

  • 我们可能想要探索一个更好的选择吗?

1 个答案:

答案 0 :(得分:0)

很显然,最好的用例是Amazon EFS,因为它被设计为可以跨多个可用区跨多个Amazon EC2卷安装的文件系统。

任何使用S3进行存储的解决方案都不是真正的文件系统,因为它只是将S3“呈现”为文件系统,事实并非如此。因此,将会有一些开销和潜在的问题。

如果您唯一的问题是价格,那么希望您会发现值得的性能和无缝使用。任何其他解决方案都具有维护可能出错的附加系统的隐性成本。从长远来看,一个有效且易于维护的系统通常是最大的价值。

您可以自己尝试解决方案(例如File Gateway),看看它是否满足您的需求。