除了检查yarn / mapreduce日志以外，还有其他监视和验证大型hadoop distcp，群集到群集，hdfs复制作业的可能性吗？ （数以百万计的大小文件，估计运行时间：几天，由于虚拟化环境和群集的并行生产使用而导致网络速度发生变化）
在HDP 2.6.1上使用DistCp V2和Apache Hadoop 2.7.3
答案 0 :(得分：0)
使用distcp命令中的以下参数将复制状态写入日志：
-log <logdir>
将日志写入DistCp会将尝试复制的每个文件的日志保留为地图输出。如果映射失败，则重新执行该日志后将不会保留该日志输出。