尽管有一些关于如何通过YARN-REST-API提交Spark-Jobs的示例(和questions),但是没有一个例子可以解决使其适用于Spark2所需的特定更改。我目前正在将我的工作从this example和accompanying documentation开始,但有一点已经非常明确了:就我所知,Spark2不再需要HDFS上的Spark-assembly jar。取而代之的是HDP,在HDFS中部署了spark2-hdp-yarn-archive.tar.gz。
现在,我想知道如何在am-container-spec中配置local-resources以使容器Spark2兼容:
__spark.jar__
)?