我考虑将HDFS用作我们客户端视频托管服务的水平扩展文件存储系统。我主要担心HDFS不是为此需求而开发的，这更像是“目前在需要处理大量数据的情况下使用的开源系统”。 我们不想处理数据只是存储它们，在HDFS的基础上创建像小型内部Amazon S3模拟器。
可能重要的时刻是存储的文件大小将从100Mb到10Gb非常小。
有没有人在这样的目的中使用HDFS？
答案 0 :(得分：1)
如果你使用S3等效，那么它应该已经提供了一个分布式，可安装的文件系统吗？也许您可以在http://openstack.org/projects/storage/查看OpenStack。
答案 1 :(得分：0)
主要缺点是缺乏POSIX语义。您无法安装驱动器，并且需要特殊的API来读取和写入驱动器。 Java API是主要的一个。有一个名为libhdfs的项目通过JNI创建了一个C API，但我从未使用它。 Thriftfs是另一种选择。
与其他替代方案相比，我也不确定读取性能。也许别人知道。你有没有检查过distributed filesystems之类的其他Lustre？
答案 2 :(得分：0)
您可能需要考虑MongoDB。它们具有GridFS，允许您将其用作存储。然后，您可以通过分片水平扩展存储，并通过复制提供容错功能。