可能有人已经有过为火花构建码头图像的经验吗? 我想构建具有spark内部的docker镜像,但是针对远程YARN群集进行了配置。 我已经用spark 1.6.2创建了图像。 但是当我跑步时
spark-shell --master yarn --deploy-mode client --driver-memory 32G --executor-memory 32G --executor-cores 8
在docker中我得到以下异常 诊断:java.io.FileNotFoundException:文件文件:/usr/local/spark/lib/spark-assembly-1.6.2-hadoop2.2.0.jar不存在
有什么建议吗? 我是否需要加载spark-assembly i HDFS并设置spark.yarn.jar = hdfs://spark-assembly-1.6.2-hadoop2.2.0.jar?
这是我的Dockerfile https://gist.github.com/ponkin/cac0a071e7fe75ca7c390b7388cf4f91