SPARK_HOME /工作填充工作节点磁盘

Question

我正在使用crontab在独立群集（使用spark-ec2 1.5.1生成）上运行spark作业，我的工作节点正受到每个作业创建的这些应用程序文件的影响。

java.io.IOException: Failed to create directory /root/spark/work/app-<app#>

我查看了http://spark.apache.org/docs/latest/spark-standalone.html并更改了我的spark-env.sh（位于主节点和工作节点上的spark / conf中）以反映以下内容：

SPARK_WORKER_OPTS="-Dspark.worker.cleanup.enabled=true -Dspark.worker.cleanup.appDataTtl=3600"

我做错了吗？我已经在主人和两个工人的每个spark-env.sh文件的末尾添加了这行。

也许是一个相关的说明，这些坐骑指向什么？我会用它们，但我不想盲目地使用它们。

Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/xvda1             8256952   8256952         0 100% /
tmpfs                  3816808         0   3816808   0% /dev/shm
/dev/xvdb            433455904   1252884 410184716   1% /mnt
/dev/xvdf            433455904    203080 411234520   1% /mnt2

Answer 1

似乎是一个1.5.1问题 - 我不再使用spark-ec2脚本来启动集群了。结束创建一个cron作业来清除我的评论中提到的目录。