我正在运行消耗50GB +的火花作业,我的猜测是写入磁盘的随机操作会导致空间耗尽。
我使用当前的Spark 1.6.0 EC2脚本构建我的群集,接近完成我收到此错误:
df -h
我尝试过使用各种EC2类型,但它们似乎只是在启动时安装了8GB。执行/mnt/spark
并不会显示为df -h
安装的任何其他存储空间,这是否意味着它只使用剩下的一点空间?
我的Filesystem Size Used Avail Use% Mounted on
/dev/xvda1 7.8G 4.1G 3.7G 53% /
devtmpfs 30G 56K 30G 1% /dev
tmpfs 30G 0 30G 0% /dev/shm
:
{{1}}
如何扩展磁盘空间?我已经根据亚马逊默认的Spark一个创建了我自己的AMI,因为我需要额外的软件包。