将Hadoop作业输出重定向到文件

Question

我运行Hadoop作业并在控制台上显示输出。 有没有办法让我将输出重定向到文件..我尝试使用以下命令重定向输出，但它不起作用。

skip_policy_scope

Answer 1

您可以将错误流重定向到文件，这是hadoop作业的输出。这是用途;

hadoop jar share/hadoop/mapreduce/hadoop*examples*.jar wordcount /user/hduser/gutenberg /user/hduser/gutenberg-output 2>joboutput

Answer 2

如果您正在运行Hadoop主页（https://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html）中的示例，则输出将写入

/user/hduser/gutenberg /user/hduser/gutenberg-output 

在HDFS而不是本地文件系统上。

您可以通过

查看输出

hadoop fs -text /user/hduser/gutenberg /user/hduser/gutenberg-output/*

并将该输出转储到本地文件

hadoop fs -text /user/hduser/gutenberg /user/hduser/gutenberg-output/* > local.txt

-text选项将解压缩数据，以便在您启用某种类型的压缩时获得文本输出。