Question

如何在Docker中使用Spark 2.2运行Zeppelin？

如果我在docker中启动了zeppelin，那就从spark 2.1开始。

docker run -p 8080:8080 --rm --name zeppelin apache/zeppelin:0.7.3

我想使用2.2

我试过这个配置，它开始在Windows笔记本电脑上，但是当我在Zeppeling Notebook中运行命令spark时出错了

    master:
  image: gettyimages/spark
  command: bin/spark-class org.apache.spark.deploy.master.Master -h master
  hostname: master
  environment:
    MASTER: spark://master:7077
    SPARK_CONF_DIR: /conf
    SPARK_PUBLIC_DNS: localhost
  expose:
    - 7001
    - 7002
    - 7003
    - 7004
    - 7005
    - 7006
    - 7077
    - 6066
  ports:
    - 4040:4040
    - 6066:6066
    - 7077:7077
    - 8080:8080
  volumes:
    - ./conf/master:/conf
    - ./data:/tmp/data


zeppelin:
  image: apache/zeppelin:0.7.3
  environment:
    ZEPPELIN_PORT: 8090
    ZEPPELIN_JAVA_OPTS: >-
      -Dspark.driver.memory=1g
      -Dspark.executor.memory=2g
    MASTER: local[*]
    SPARK_MASTER: spark://master:7077
    SPARK_HOME: master
  ports:
    - 8090:8090
  volumes:
    - ./data:/usr/zeppelin/data
    - ./notebooks:/usr/zeppelin/notebook

但我收到错误

org.apache.zeppelin.interpreter.InterpreterException: /zeppelin/bin/interpreter.sh: line 211: master/bin/spark-submit: No such file or directory

Answer 1

如果只想使用现有映像，则需要查找使用Spark 2构建的映像。例如，以下是使用spark 2.2的程序，要开始使用它，请运行以下命令

docker run --rm -p 8080:8080 dylanmei/zeppelin

或者，您可以构建自己的映像，将波纹管链接的内容保存在Dockerfile中

https://hub.docker.com/r/dylanmei/zeppelin/~/dockerfile/

进行更改，然后使用构建图像

docker build -t myZeppelinSparkImage .

在码头工人中运行齐柏林飞艇与火花2.2

1 个答案: