如何抑制hadoop fs命令的信息消息

Question

当我们运行hadoop fs -get命令时，我们会看到所有的信息消息。如何抑制这些消息。

17/12/05 17:59:02 INFO s3n.S3NativeFileSystem: Opening 's3://testbucketzs/Manish/test1/data/csv-serde-1.1.2-0.11.0-all - Copy (796) - 

Answer 1

如果您不想全局更改所有Hadoop进程的log4j.properties，可以为

执行一次性命令

export HADOOP_ROOT_LOGGER="WARN,DFRA"

然后，该会话中的hdfs个命令将不会输出INFO个消息。

Answer 2

您需要修改文件，如下所示：

$HADOOP_HOME/conf/log4j.properties 在此文件中，替换以下行：

log4j.appender.EventCounter=org.apache.hadoop.log.EventCounter

这一行： log4j.appender.EventCounter=org.apache.hadoop.log.metrics.EventCounter

如果您不想这样做，请将stderr指向黑洞，如hdfs dfs -get /hdfs_path/ /local_path/ > 2>/dev/null

另一个建议是使用hdfs dfs -get而不是hadoop fs弃用。

如果您有兴趣，这link会有解释。