Spark无法在纱线群集模式下运行

Question

我正在尝试在纱线群集上执行我的代码

我正在使用的命令是

$SPARK_HOME/bin/spark-submit \
    --class "MyApp" \
    target/scala-2.10/my-application_2.10-1.0.jar \
    --master yarn-cluster \
    --num-executors 3 \
    --driver-memory 6g \
    --executor-memory 7g \
    <outputPath>

但是，我可以看到这个程序只在localhost上运行。

它能够从hdfs读取文件。

我在独立模式下尝试过这种方法，但效果很好。

请说明哪里出错了。

Answer 1

我正在使用Hadoop2.4和Spark 1.1.0。我能够让它在集群模式下运行。

要解决此问题，我们只需从所有从属节点中删除所有配置文件。之前我们在独立模式下运行，导致所有从站上的配置重复。完成后，它在群集模式下按预期运行。虽然性能不符合独立模式。

感谢。