我通过设置以下属性在Mesos Docker容器上运行Spark应用程序。
--conf 'spark.local.dir=/var/lib/spark'
--conf 'spark.mesos.executor.docker.image=my_spark_docker_image'
--conf 'spark.mesos.executor.docker.volumes=/var/data/x-spark:/var/lib/spark,/opt/local/mesos:/opt/local/mesos:ro'
--conf 'spark.executorEnv.MESOS_NATIVE_JAVA_LIBRARY=/opt/local/mesos/lib/libmesos.so'
spark.local.dir
属性为/var/lib/spark
,由docker主机挂载。即,主机上的所有Spark执行程序共享相同的本地目录(/ var / data / x-spark)。
似乎一切正常,我担心文件损坏。这样安全吗?
答案 0 :(得分:1)
这很安全。每个作业都会创建自己的子目录。