有没有办法以编程方式获取我的Hadoop集群信息？

Question

我可以使用命令行使用

等工具获取有关我的hadoop群集的信息

1. hadoop dfsadmin -report
2. hadoop fs -df -h

我们要做的是在用户根据剩余的HDFS磁盘空间和Yarn队列请求（通过webUI）时做出决定。

我在想是否hadoop暴露了一些API，我们可以向其发出'GET'请求并获取这些信息并使用它来返回响应。任何替代方案也可以。

我试图找到Hadoop Apis并得到以下结果

https://hadoop.apache.org/docs/stable/api/

我在上面的链接中看不到任何url端点，我可以提出请求。我错过了一些基本的东西吗？

由于

Answer 1

您可以使用Java API：https://hadoop.apache.org/docs/current/api/org/apache/hadoop/fs/FileSystem.html#getStatus()

从namenode获取此信息的协议使用Google Protobuf。