Question

我尝试使用Cloudera QuickStart Docker Image，但似乎hdfs（0字节）上没有可用空间。

启动容器后

 docker run --hostname=$HOSTNAME -p 80:80 -p 7180:7180 -p 8032:8032 -p      8030:8030 -p 8888:8888 -p 8983:8983 -p 50070:50070 -p 50090:50090 -p 50075:50075 -p 50030:50030 -p 50060:50060 -p 60010:60010 -p 60030:60030 -p 9095:9095 -p 8020:8020 -p 8088:8088 -p 4040:4040 -p 18088:18088 -p 10020:10020 --privileged=true -t -i cloudera/quickstart /usr/bin/docker-quickstart

我可以启动Cloudera Manager

$/home/cloudera/cloudera-manager --express

并登录web gui。在这里我可以看到dfs.datanode.data.dir是默认的/ var / lib / hadoop-hdfs / cache / hdfs / dfs / data

在控制台上我的hdfs dfsadmin -report给了我：

hdfs dfsadmin -report 
Safe mode is ON
Configured Capacity: 0 (0 B)
Present Capacity: 0 (0 B)
DFS Remaining: 0 (0 B)
DFS Used: 0 (0 B)
DFS Used%: NaN%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0

但是当我看着容器时

df -h
Filesystem      Size  Used Avail Use% Mounted on
overlay          63G  8.3G   52G  14% /
tmpfs            64M     0   64M   0% /dev
tmpfs           5.9G     0  5.9G   0% /sys/fs/cgroup
/dev/sda1        63G  8.3G   52G  14% /etc/resolv.conf
/dev/sda1        63G  8.3G   52G  14% /etc/hostname
/dev/sda1        63G  8.3G   52G  14% /etc/hosts
shm              64M     0   64M   0% /dev/shm
cm_processes    5.9G  7.8M  5.9G   1% /var/run/cloudera-scm-agent/process

我需要做些什么来为hfs添加额外的空间？

Answer 1

这里我可以看到dfs.datanode.data.dir是默认的/ var / lib / hadoop-hdfs / cache / hdfs / dfs / data

您可以在该目录中使用卷装入。

更重要的是，在容器中运行df会产生误导，而在Mac或Windows上，Docker qcow2文件的开头数量有限。

How do you get around the size limitation of Docker.qcow2 in the Docker for Mac?

看起来你没有运行数据节点

在Docker上扩展Cloudera QuickStart中的HDFS内存

1 个答案: