如何将从Spark Job类返回的值导入Spark Launcher类

时间:2018-01-04 12:31:42

标签: apache-spark apache-spark-sql spark-dataframe spark-launcher

我正在使用以下代码启动Spark Job。

我希望将com.test.Foo Class的结果导入启动spark应用程序的Launcher类。

我不想将值写入临时文件并从Launcher类中读取它。有没有办法从spark主类com.test.Foo返回所需的值。

有没有办法将值设置为当前会话并在需要的地方获取它?

SparkAppHandle handler = new SparkLauncher()
                            .setAppResource(<path to jar>)
                            .setMaster("yarn-cluster") 
                            .setDeployMode("cluster")
                            .setVerbose(true)
                            .setMainClass("com.test.Foo")               
                            .addAppArgs(args[0],args[1])
                            .startApplication();

0 个答案:

没有答案