我按照此页面在纱线群集模式下在YARN上运行SparkPi示例应用程序。
http://spark.apache.org/docs/latest/running-on-yarn.html
我最后没有看到程序的输出(这是本例计算的结果)。当我在yarn-client模式下运行它(--master yarn-client)时,我看到一个这样的输出:
Pi约为3.138796
标准输出在纱线群集模式中的位置是什么?
答案 0 :(得分:11)
经过多次探索后,我在spark-0.9.0 doc找到了这个。
检查输出(用上一个命令输出的“application identifier”替换下面的$ YARN_APP_ID) (注意:YARN_APP_LOGS_DIR通常是/ tmp / logs或$ HADOOP_HOME / logs / userlogs,具体取决于Hadoop版本。)
$ cat $ YARN_APP_LOGS_DIR / $ YARN_APP_ID / container * _000001 / stdout
Pi约为3.13794
我希望他们也将这条指令放在1.1.0 documentation中。