HDFS有什么选择吗?

时间:2014-12-22 05:59:49

标签: hadoop hdfs

我正在使用hadoop并且在hadoop中我正在使用HDFS执行i / o操作。但是,在HDFS中处理数据需要很长时间。我有没有选择让处理速度更快,选择像MongoDB或任何其他选项的HDFS?

我正在处理网站分类的知识库,它包括单词,单词的数量,它包括大约1L行和50个类别所以大约50L行处理和搜索操作在hdfs中逐行处理并花费很多时间

1 个答案:

答案 0 :(得分:1)

我认为HDFS2意味着使用纱线架构的hadoop-2将获得良好的性能,大文件的处理时间取决于各种因素,如群集配置和节点之间的数据带宽。