如何通过Yarn REST API部署Spark2 Job

时间:2018-01-30 14:55:40

标签: apache-spark yarn apache-spark-2.0

尽管有一些关于如何通过YARN-REST-API提交Spark-Jobs的示例(和questions),但是没有一个例子可以解决使其适用于Spark2所需的特定更改。我目前正在将我的工作从this exampleaccompanying documentation开始,但有一点已经非常明确了:就我所知,Spark2不再需要HDFS上的Spark-assembly jar。取而代之的是HDP,在HDFS中部署了spark2-hdp-yarn-archive.tar.gz。

现在,我想知道如何在am-container-spec中配置local-resources以使容器Spark2兼容:

  • 如何构建REST兼容性的类路径(特别是__spark.jar__)?
  • 我可以减少重复配置的总量(建议here, for the Java YARN-API)吗?

0 个答案:

没有答案