释放空间Cloudera-QuickStart VM-Cent OS

时间:2017-11-24 15:54:57

标签: hadoop mapreduce centos cloudera cloudera-quickstart-vm

我跑了一份MR工作,在测试时填补了一些空间。通过运行Job,已经占用了大约20 GB的空间。我删除了一些hive表和hdfs文件。但是,我仍然遇到错误,例如包裹目录阈值失败。

是否有任何Cloudera Manager命令可以清除所有节点上未使用的空间?或者我是否应该使用其他方法来制作自由空间?

Container [pid=10156,containerID=container_1511328141399_0037_01_000004] is running beyond physical memory limits. Current usage: 1.0 GB of 1 GB physical memory used; 23.1 GB of 2.1 GB virtual memory used. Killing container.
Dump of the process-tree for container_1511328141399_0037_01_000004 :

1 个答案:

答案 0 :(得分:0)

首先,您的错误是关于内存,而不是磁盘空间。您需要8GB的RAM来启动Cloudera Express桌面应用程序,除非您强行启动否则

删除HDFS文件仍会将它们保存在用户主文件夹的“废纸篓”位置。

Hue可以选择清空垃圾箱,但命令行选项是

hdfs dfs -expunge

https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/FileSystemShell.html#expunge

请注意,您还可以将VirtualBox硬盘驱动器设置得更大,这超出了快速入门VM的范围。目前尚不清楚你是否正在使用Docker版本,不过