将Hadoop与MongoDB一起用作数据库而不是HDFS是否可行

时间:2013-09-06 05:30:23

标签: mongodb hadoop hdfs

我正在研究Hadoop with MongoDB as Database而不是HDFS。因此,我需要在性能和可用性方面提供一些指导。

我的方案

我的数据是

  • 来自推特的推文
  • Facebook新闻Feed

我可以从twitter和Facebook API获取数据。为了进行hadoop处理,我需要存储。

所以我的问题是,使用Hadoop和Mongo DB存储社交网络数据(如Twitter提要,Facebook帖子等)是否可行(或有益)?或者最好使用HDFS并将数据存储在文件中。任何专业指导将不胜感激。感谢

1 个答案:

答案 0 :(得分:1)

这样做是完全可行的。但这主要取决于您的需求。基本上,获得数据后你想做什么?

那就是说,MongoDB绝对是一个不错的选择。它非常适合存储非结构化,深层嵌套的文档,例如JSON。您不必过多担心数据中的嵌套和关系。您也不必担心架构。无模式存储肯定是使用MongoDB的一个令人信服的理由。

另一方面,我发现HDFS更适合平面文件,你只需要选择标准化数据并开始处理。

但这些只是我的想法。其他人可能会有不同的意见。我的最终建议是分析你的用例,然后最终确定你的商店。

HTH