在Docker容器中对远程YARN集群运行spark-shell

时间:2016-10-27 13:32:27

标签: apache-spark docker yarn

可能有人已经有过为火花构建码头图像的经验吗? 我想构建具有spark内部的docker镜像,但是针对远程YARN群集进行了配置。 我已经用spark 1.6.2创建了图像。 但是当我跑步时

spark-shell --master yarn --deploy-mode client --driver-memory 32G --executor-memory 32G --executor-cores 8

在docker中我得到以下异常 诊断:java.io.FileNotFoundException:文件文件:/usr/local/spark/lib/spark-assembly-1.6.2-hadoop2.2.0.jar不存在

有什么建议吗? 我是否需要加载spark-assembly i HDFS并设置spark.yarn.jar = hdfs://spark-assembly-1.6.2-hadoop2.2.0.jar?

这是我的Dockerfile https://gist.github.com/ponkin/cac0a071e7fe75ca7c390b7388cf4f91

0 个答案:

没有答案