将Hadoop Mapreduce输出到本地磁盘或STDOUT

Question

是否必须将hadoop map reduce程序的输出写入HDFS。我们可以将它写入本地磁盘或在stdout上显示吗？

Answer 1

我认为必须在hadoop目录中包含文件，这取决于您运行MapReduce作业的方式。当我从eclipse运行我的mapreduce程序时，它运行在＆＃34; Standalone＆＃34;模式，它在我的个人文件系统中创建一个文件夹。

mapreduce的另一种操作方式是＆＃34;分发＆＃34;模式。

我的地图减少了驱动程序类行，我提到了输出和输入路径。

    FileInputFormat.addInputPath(job, new Path("src/demo/fulldictionary.txt"));
    FileOutputFormat.setOutputPath(job, new Path("output"));

Answer 2

您可以编写一个扩展TextOutputFormat并覆盖getRecordWriter（）方法的自定义类。在此范围内，您可以将输出写入本地fs。