我想知道何时将文件从hadoop复制到本地,并记录此信息。我查看了hadoop审计日志和namenode日志,我没有看到这些信息被记录。任何帮助将不胜感激 。
答案 0 :(得分:0)
CopyToLocal
可以将文件复制到本地文件系统。这个过程涉及很多类和方法,所以你最好在日志中看到hadoop-hadoop-namenode-Master.log,hadoop-hadoop-jobtracker-Master.log,hadoop-hadoop-datanode-Slave1.log。我会给自己一些关于写文件的理解。读取过程类似于写入文件的过程。
您可以在hadoop-hadoop-namenode-Master.log中搜索“cmd = mkdirs”,然后搜索“HDFS_WRITE”等等。这些关键字表示写入文件的过程,即put
或CopyFromLocal
。然后,您可以根据自己的目的阅读这些日志。
注意:您最好分别在主节点和从节点中找到您的日志,上面的日志名称就在我的电脑中。