Question

我正在使用本教程spark cluster on yarn mode in docker container在纱线模式下在火花簇中启动zeppelin。但是我陷入了第4步。我在docker容器中找不到conf / zeppelin-env.sh来进行进一步的配置。我尝试将这些conf文件夹放在zeppelin中但现在却成功了。除了zeppelin笔记本还没有在localhost：9001上运行。

我是分布式系统的新手，如果有人可以帮我在纱线模式下启动火花塞上的zeppelin，那就太棒了。

这是我的docker-compose文件，用于启用与spark集群的zeppelin对话。

version: '2'
services:
sparkmaster:
  build: .
  container_name: sparkmaster
ports:
  - "8080:8080"
  - "7077:7077" 
  - "8888:8888"
  - "8081:8081"
  - "8082:8082"
  - "5050:5050"
  - "5051:5051"
  - "4040:4040"
zeppelin:
  image: dylanmei/zeppelin
  container_name: zeppelin-notebook
env_file:
  - ./hadoop.env
environment:
  ZEPPELIN_PORT: 9001
  CORE_CONF_fs_defaultFS: "hdfs://namenode:8020"
  HADOOP_CONF_DIR_fs_defaultFS: "hdfs://namenode:8020"
  SPARK_MASTER: "spark://spark-master:7077"
  MASTER: "yarn-client"
  SPARK_HOME: spark-master
  ZEPPELIN_JAVA_OPTS: >-
    -Dspark.driver.memory=1g
    -Dspark.executor.memory=2g
ports:
  - 9001:9001
volumes:
  - ./data:/usr/zeppelin/data
  - ./notebooks:/usr/zeppelin/notebook

Answer 1

这是用于启动独立spark集群的dockerfile。

https://github.com/apache/zeppelin/blob/master/scripts/docker/spark-cluster-managers/spark_standalone/Dockerfile

但容器内没有Zeppelin实例，因此您必须在本地计算机上使用Zeppelin。

请download并使用它。

在火花集群模式

1 个答案: