以编程方式将火花应用程序提交给纱线

时间:2015-05-22 23:29:52

标签: java scala hadoop apache-spark yarn

我觉得能够以编程方式向纱线提交火花应用程序已经成为一种非常普遍的要求。但是在apache spark文档中没有关于它的引用。它是否可能,如果是,是否有直接的方法来实现它。请指教。

2 个答案:

答案 0 :(得分:1)

执行此操作的正确方法是将驱动程序应用程序转换为RPC服务器。这样,您只需启动一个SparkContext。您传入的RPC请求都会重用您现有的SparkContext。

我相信文件会顺便提及这个策略,但除此之外,这实际上超出了Spark文档的范围。

我最近使用http4s这是一个可嵌入的功能性HTTP服务器。这很简单。

但是选择你选择的RPC协议并拥有它。

答案 1 :(得分:0)

You can call SparkSubmit from code

org.apache.spark.deploy.SparkSubmit.main(/*Submission args*/)