在纱线群集模式下在YARN上运行Spark:控制台输出在哪里?

时间:2014-10-12 04:34:45

标签: apache-spark yarn

我按照此页面在纱线群集模式下在YARN上运行SparkPi示例应用程序。

http://spark.apache.org/docs/latest/running-on-yarn.html

我最后没有看到程序的输出(这是本例计算的结果)。当我在yarn-client模式下运行它(--master yarn-client)时,我看到一个这样的输出:

  

Pi约为3.138796

标准输出在纱线群集模式中的位置是什么?

1 个答案:

答案 0 :(得分:11)

经过多次探索后,我在spark-0.9.0 doc找到了这个。

  

检查输出(用上一个命令输出的“application identifier”替换下面的$ YARN_APP_ID)   (注意:YARN_APP_LOGS_DIR通常是/ tmp / logs或$ HADOOP_HOME / logs / userlogs,具体取决于Hadoop版本。)

     

$ cat $ YARN_APP_LOGS_DIR / $ YARN_APP_ID / container * _000001 / stdout

     

Pi约为3.13794

我希望他们也将这条指令放在1.1.0 documentation中。