我们正在尝试运行Spark Submit作业,当我们使用以下命令通过YARN运行Spark Submit作业时,我们注意到在/opt/mapr/spark/spark-1.6.1/bin
中创建了Spark Scratch目录。我们无权在/opt/mapr/spark/spark-1.6.1/bin
中创建临时目录。因此,我们尝试使用conf属性spark.local.dir
设置我们具有写访问权限的文件夹的临时目录路径。
./spark-submit --class org.apache.beam.runners.spark.examples.WordCount --master yarn --conf "spark.local.dir=/hadoop/landingzone/" /hadoop/landingzone/beam-runners-spark-bundled-spark.jar --runner=SparkRunner --inputFile=/hadoop/landingzone/pom.xml --output=counts
收到异常:
IOException because we don't have write access to /opt/mapr/spark/spark-1.6.1/bin directory.
警告讯息:
In Spark 1.0 and later spark.local.dir will be overridden by the value set by the cluster manager (via SPARK_LOCAL_DIRS in mesos/standalone and LOCAL_DIRS in YARN)
如果spark.local.dir
设置不起作用,请您指导在通过YARN提交作业时如何设置临时目录路径。
由于