纱线 - 火花工作的执行者

时间:2017-04-03 01:28:40

标签: hadoop apache-spark yarn

Process spark = new SparkLauncher()
.setAppResource("myApp.jar")
.setMainClass("com.aa.bb.app")
.setMaster("yarn")
.setDeployMode( "cluster")
.addAppArgs( data)
.launch();

这就是我将火花罐执行到纱线簇的方式。以下是一些问题。

  
      
  1. 这是与执行者的处理吗? (每1个纱线执行者1个火花提交?)
  2.   
  3. 我应该如何同时执行多个火花工作? (我应该在哪里设置动态分配(spark.dynamicAllocation.enabled)?)
  4.   
  5. 我应该在哪里设置执行程序配置的数量?在java代码?在纱线xml?
  6.   
  7. 如果我将执行人数设为2,并处理单一工作,执行人之一将无能为力?
  8.   

1 个答案:

答案 0 :(得分:0)

不需要为此做任何事情。它自动分配。

enter image description here