我正在使用以下代码启动Spark Job。
我希望将com.test.Foo
Class的结果导入启动spark应用程序的Launcher类。
我不想将值写入临时文件并从Launcher类中读取它。有没有办法从spark主类com.test.Foo
返回所需的值。
有没有办法将值设置为当前会话并在需要的地方获取它?
SparkAppHandle handler = new SparkLauncher()
.setAppResource(<path to jar>)
.setMaster("yarn-cluster")
.setDeployMode("cluster")
.setVerbose(true)
.setMainClass("com.test.Foo")
.addAppArgs(args[0],args[1])
.startApplication();