我打算做一个项目,我需要实时监控HDFS文件的创建,删除和追加操作。 Hadoop metrics告诉执行此类操作的次数,但我需要知道正在执行这些操作的文件。日志似乎对此没什么帮助。是否有任何框架/技术可以轻松地监控HDFS文件操作?
答案 0 :(得分:0)
如果您使用Hadoop 2.6+,使用https://issues.apache.org/jira/browse/HDFS-6634
中实现的inotify
功能的原生方式是
看一下Cloudera的精彩演示:https://www.slideshare.net/Hadoop_Summit/keep-me-in-the-loop-inotify-in-hdfs