hadoop CopytoLocal命令在哪里被记录?

时间:2017-10-05 05:05:57

标签: hadoop logging copy

我想知道何时将文件从hadoop复制到本地,并记录此信息。我查看了hadoop审计日志和namenode日志,我没有看到这些信息被记录。任何帮助将不胜感激 。

1 个答案:

答案 0 :(得分:0)

CopyToLocal可以将文件复制到本地文件系统。这个过程涉及很多类和方法,所以你最好在日志中看到hadoop-hadoop-namenode-Master.log,hadoop-hadoop-jobtracker-Master.log,hadoop-hadoop-datanode-Slave1.log。我会给自己一些关于写文件的理解。读取过程类似于写入文件的过程。

您可以在hadoop-hadoop-namenode-Master.log中搜索“cmd = mkdirs”,然后搜索“HDFS_WRITE”等等。这些关键字表示写入文件的过程,即putCopyFromLocal。然后,您可以根据自己的目的阅读这些日志。

注意:您最好分别在主节点和从节点中找到您的日志,上面的日志名称就在我的电脑中。