Question

我正在使用 docker hub 上可用的 spark 图像（语义/火花）图像，它由 docker-compose.yml 文件和 dockerfile 组成。我使用 (semantive/spark) 作为基础映像并创建我自己的 Dockerfile。

Dockerfile 创建：-

FROM semantive/spark:latest
RUN mkdir -p /usr/src/app/
WORKDIR /usr/src/app/
ADD . /usr/src/app
ADD target/*.jar /usr/src/app/apps.jar
CMD ["spark-submit --master local[*] --class tech2.usi.Usi2Driver","/usr/src/app/apps.jar 14"]

注意：- 使用 maven 构建我的应用程序后会创建 apps.jar。

运行时的基本映像（语义/火花）为火花创建了两个容器，一个用于 master，另一个用于 worker。现在使用我的基础镜像，我想在我的 kubernetes 集群中部署应用程序。我们该怎么做？

我在部署过程中遇到以下错误。来自守护进程的错误响应：OCI 运行时创建失败：container_linux.go:370：导致启动容器进程：exec：“spark-submit --class tech2.usi.Usi2Driver”：在 $PATH 中找不到可执行文件：未知

如何在 Kubernetes 集群上部署 Spark 容器

0 个答案: