我正在研究Hadoop with MongoDB as Database
而不是HDFS。因此,我需要在性能和可用性方面提供一些指导。
我的方案
我的数据是
我可以从twitter和Facebook API获取数据。为了进行hadoop处理,我需要存储。
所以我的问题是,使用Hadoop和Mongo DB存储社交网络数据(如Twitter提要,Facebook帖子等)是否可行(或有益)?或者最好使用HDFS并将数据存储在文件中。任何专业指导将不胜感激。感谢
答案 0 :(得分:1)
这样做是完全可行的。但这主要取决于您的需求。基本上,获得数据后你想做什么?
那就是说,MongoDB绝对是一个不错的选择。它非常适合存储非结构化,深层嵌套的文档,例如JSON。您不必过多担心数据中的嵌套和关系。您也不必担心架构。无模式存储肯定是使用MongoDB的一个令人信服的理由。
另一方面,我发现HDFS更适合平面文件,你只需要选择标准化数据并开始处理。
但这些只是我的想法。其他人可能会有不同的意见。我的最终建议是分析你的用例,然后最终确定你的商店。
HTH