我有一个奇怪的问题。
hadoop 的分布式和可扩展 替代品有哪些?我正在寻找一些像 HDFS 这样的分布式文件系统,它可以用作廉价而有效的存储,并且希望在它之上使用数据处理引擎(批量/实时)。我知道Spark可以是一个很好的选择。但我想将此系统用作分布式,容错和可扩展的文件存档。是否有任何适当的解决方案?欢迎提出建议。谢谢:))
答案 0 :(得分:4)
这些是Hadoop和Apache Spark的其他替代品。 Cluster Map Reduce,Hydra和结论,它们对大数据项目都相对较好。在这里阅读更多 https://datafloq.com/read/Big-Data-Hadoop-Alternatives/1135
答案 1 :(得分:2)
如果您仍在寻找替代方案,这篇Gigaom文章可能有所帮助: https://gigaom.com/2012/07/11/because-hadoop-isnt-perfect-8-ways-to-replace-hdfs/ 默认情况下,Spark刷新为HDFS。
由于HDFS是GFS(Google FS)的开源替代品,您可以使用GFS连接器(Google FS可通过Google云平台存储服务获得)......有一个问题:大量数据传输成本高昂节点/集群之间。 Hadoop不是为实时数据设计的,而是为动态数据设计的。我希望这会有所帮助。
以上所有链接均为我分享的Gigaom文章。 我希望这会有所帮助。