是否可以将数据作为输入流入MapReduce作业

Question

目前我们可以传递文件夹/文件作为MapReduce作业的输入，但我想知道我们是否可以从HDFS（hdfs dfs -cat file.txt）“捕获”数据并将其作为MapReduce作业输入传递？

Answer 1

不，你不能用MapReduce做到这一点。

可以做到的替代方案是：SparkStreaming和Storm。