如何知道哪个主机正在写入HDFS目录？

Question

有一些过程正在写入HDFS目录。如何知道哪个主机或应用正在执行此操作？

Answer 1

假设您使用的是受保护的HDP-Kerberos群集，并且已在启用了HDFS插件的情况下安装了RANGER，则可以从“审核”日志中监视所有HDFS访问，并可能会发现有罪的人。否则可能会在Namenode日志中以调试模式出现？

Answer 2

如果这是一次性的要求，则可以在实际主机上使用监视工具。如果主机数量很少，则可以使用iotop查看哪些进程正在生成多少I / O。此建议仅适用于Linux系统。