可以从群集模式下提交的Spark App获取输出吗？

Question

是否可以从群集模式下提交的Spark App获取输出？如果是这样，怎么样？

我正在使用Python运行一个简单的Spark应用程序。该程序只是设置一个Spark Context并将This app ran successfully打印到屏幕上。当我使用以下内容提交此应用程序时：

spark-submit --deploy-mode client --master local[*] foo.py

它成功运行并打印出消息。

然而，当我用：

运行相同的应用程序时

spark-submit --deploy-mode cluster --master yarn-cluster foo.py 

它成功运行，但我没有输出。

虽然我已经使用Spark几个月了，但我在集群模式下提交应用程序相对较新，所以任何帮助/文档都会很棒！

Answer 1

您可以将此应用成功运行保存到外部存储系统，例如：

sc.parallelize(['This app ran successfully'], 1).saveAsTextFile(path='hdfs:///somewhere/you/want')