EC2上的Spark,设备上没有剩余空间

时间:2016-03-16 23:06:12

标签: amazon-ec2 apache-spark

我正在运行消耗50GB +的火花作业,我的猜测是写入磁盘的随机操作会导致空间耗尽。

我使用当前的Spark 1.6.0 EC2脚本构建我的群集,接近完成我收到此错误:

df -h

我尝试过使用各种EC2类型,但它们似乎只是在启动时安装了8GB。执行/mnt/spark并不会显示为df -h安装的任何其他存储空间,这是否意味着它只使用剩下的一点空间?

我的Filesystem Size Used Avail Use% Mounted on /dev/xvda1 7.8G 4.1G 3.7G 53% / devtmpfs 30G 56K 30G 1% /dev tmpfs 30G 0 30G 0% /dev/shm

{{1}}

如何扩展磁盘空间?我已经根据亚马逊默认的Spark一个创建了我自己的AMI,因为我需要额外的软件包。

0 个答案:

没有答案