启动并提交工作火花

时间:2016-08-29 08:13:57

标签: java apache-spark

我试着"跑步" spark job我的java应用程序,搜索,我发现了以下两种方法: ClientsArgumentsSparkLauncher

有人可以向我解释两者之间的区别吗?启动和提交作业/应用程序Spark之间的区别? 谢谢。

1 个答案:

答案 0 :(得分:1)

SparkLauncher只是spark-submit的包装库,它会将您的SparkLauncher代码转换为spark-submit 脚本,然后触发作业。

该机制与spark-submit脚本相同,如果查看SparkLauncher的源代码,它会使用ProcessBuilder来构造shell。

如果您想使用SparkLauncher,则需要指定$JAVA_HOME$SPRAK_HOME和其他必要参数。 SparkLauncher有一些限制,SparkLauncher运行的计算机必须有$JAVA_HOME$SPARK_HOME(Spark库),用于SparkLauncher查找< strong>脚本和相关的依赖项。对于像CloudFoundry等一些云环境来说,这是不可能的。

您可以假设SparkLauncher等于spark-submit脚本,您可以选择客户端或主人,本地或纱线模式。

ClientsArguments是YARN脚本的一个类,它只适用于纱线模式。