HDFS可用空间可用命令

Question

是否有hdfs命令可以查看hdfs中的可用空间。我们可以看到通过浏览器在master：hdfsport在浏览器中，但由于某种原因我无法访问它，我需要一些命令。 我可以通过命令./bin/hadoop fs -du -h查看我的磁盘使用情况，但看不到可用空间。

感谢您提前回答。

Answer 1

试试这个：

hdfs dfsadmin -report

使用旧版本的Hadoop，试试这个：

hadoop dfsadmin -report

Answer 2

方法

的 1。 dfsadmin

在较新版本的HDFS中，不推荐使用dfsadmin的hadoop CLI：

hdfs

所以此时你应该只使用sudo。此外，在需要$ sudo -u hdfs hdfs dfsadmin -report 的系统上，您可以这样运行：

fs

的 2。 fs -df

您还可以通过hadoop模块向$ hadoop fs -df -h 提供其他方法：

$ sudo -u hdfs hdfs dfsadmin -report
Configured Capacity: 7504658432 (6.99 GB)
Present Capacity: 527142912 (502.72 MB)
DFS Remaining: 36921344 (35.21 MB)
DFS Used: 490221568 (467.51 MB)
DFS Used%: 93.00%
Under replicated blocks: 128
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0

-------------------------------------------------
Live datanodes (1):

Name: 192.168.114.48:50010 (host-192-168-114-48.td.local)
Hostname: host-192-168-114-48.td.local
Decommission Status : Normal
Configured Capacity: 7504658432 (6.99 GB)
DFS Used: 490221568 (467.51 MB)
Non DFS Used: 6977515520 (6.50 GB)
DFS Remaining: 36921344 (35.21 MB)
DFS Used%: 6.53%
DFS Remaining%: 0.49%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 2
Last contact: Thu Feb 04 13:35:04 EST 2016

示例输出

的 dfsadmin

此处还提供了一个更全面的答案，即单个节点安装的输出结果。

-df

在上面的示例中，HDFS HDD空间已10​​0％使用。

fs -df

与fs模块中的$ hadoop fs -df -h Filesystem Size Used Available Use% hdfs://host-192-168-114-48.td.local:8020 7.0 G 467.5 M 18.3 M 7% 子命令相同的系统：

    //Class:
    public class SomeClass{
        public Integer someInt;
        public String someString;
    }

    //Callout Class:

    public class CalloutClass{
        public SomeClass someMethod(){
            //...code to do a callout to an api
            SomeClass someClassObj = (SomeClass)JSON.Deserialize(APIResponse.getBody(), SomeClass.class);
            return someClassObj;
        }
    }

    //Controller:

    public class SomeController {
        public SomeController(){
            someClassObj = calloutClassObj.someMethod();
            SomeWrapper wrapperObj = new SomeWrapper();
            for(SomeClass iterObj : someClassObj){
                wrapperObj.someWrapperInt = iterObj.someInt;
                wrapperObj.someWrapperString = iterObj.someString;
            }
        }
        public class someWrapper{
            public Integer someWrapperInt{get;set;}
            public String someWrapperString{get;set;}
        }
    }

Answer 3

Hadoop版本1：

buffer[] = 'Date: 12 feb, 2016, 10:22:44 GMT';
int y,d,h,m,s;
char month[10];
sscanf(buffer,"Date: %i %s, %i, %i:%i:%i", &d, month, &y, &h, &m, &s);

OR

hadoop fs -df -h

Hadoop版本2：

hadoop dfsadmin -report

OR

hdfs dfs -df -h

Answer 4

尝试以下命令：

hdfs dfsadmin -report