Process spark = new SparkLauncher()
.setAppResource("myApp.jar")
.setMainClass("com.aa.bb.app")
.setMaster("yarn")
.setDeployMode( "cluster")
.addAppArgs( data)
.launch();
这就是我将火花罐执行到纱线簇的方式。以下是一些问题。
- 这是与执行者的处理吗? (每1个纱线执行者1个火花提交?)
- 我应该如何同时执行多个火花工作? (我应该在哪里设置动态分配(spark.dynamicAllocation.enabled)?)
- 我应该在哪里设置执行程序配置的数量?在java代码?在纱线xml?
- 如果我将执行人数设为2,并处理单一工作,执行人之一将无能为力?
醇>