我正在使用hadoop并且在hadoop中我正在使用HDFS执行i / o操作。但是,在HDFS中处理数据需要很长时间。我有没有选择让处理速度更快,选择像MongoDB或任何其他选项的HDFS?
我正在处理网站分类的知识库,它包括单词,单词的数量,它包括大约1L行和50个类别所以大约50L行处理和搜索操作在hdfs中逐行处理并花费很多时间
答案 0 :(得分:1)
我认为HDFS2意味着使用纱线架构的hadoop-2将获得良好的性能,大文件的处理时间取决于各种因素,如群集配置和节点之间的数据带宽。