Question

我有两个图像，它们使用两阶段构建来构建Scala代码并将工件复制到最终图像。为了加快构建速度，我将本地~/.ivy2复制到上下文目录，然后从该目录复制到映像（〜1GB）。不幸的是，这意味着即使没有任何改变并且不需要重建映像，docker-compose build（或docker build）也会挂起相当长的时间来复制Docker上下文。这当然会发生两次，每个图像一次。

有什么更聪明的方法吗？

Dockerfile：

FROM openjdk:8

RUN apt-get update &&\
    apt-get install -y apt-transport-https gnupg2 &&\
    echo "deb https://dl.bintray.com/sbt/debian /" | tee -a /etc/apt/sources.list.d/sbt.list &&\
    apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 642AC823 &&\
    apt-get update &&\
    apt-get install -y sbt=1.1.6

COPY ivy-cache/ /root/.ivy2

COPY app/source/ /app/source

RUN cd /app/source &&\
    sbt assembly &&\
    cp target/scala-2.11/my-app-*.jar /app/my-app.jar

FROM gettyimages/spark:2.3.1-hadoop-3.0

COPY --from=0 /app/my-app.jar /app/my-app.jar

CMD ["spark-submit", "--master", "local", "/app/my-app.jar"]

Answer 1

在18.09中，docker包含BuildKit。 BuildKit本身将缓存先前的上下文，并仅在后台发送与rsync等效的差异。

对于这种特定情况，您可以使用一些实验性功能，以等同于使用RUN --mount语法的命名卷的形式挂接在依赖项缓存中。缓存目录从不进入映像，但在以后的构建中存在该目录，当您引入新的依赖项时，它的行为就像本地构建一样，仅下载新的依赖项。

# syntax=docker/dockerfile:experimental
FROM openjdk:8 as build

RUN apt-get update &&\
    apt-get install -y apt-transport-https gnupg2 &&\
    echo "deb https://dl.bintray.com/sbt/debian /" | tee -a /etc/apt/sources.list.d/sbt.list &&\
    apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 642AC823 &&\
    apt-get update &&\
    apt-get install -y sbt=1.1.6

COPY app/source/ /app/source

RUN --mount=type=cache,target=/root/.ivy2 \
    cd /app/source &&\
    sbt assembly &&\
    cp target/scala-2.11/my-app-*.jar /app/my-app.jar

FROM gettyimages/spark:2.3.1-hadoop-3.0 as release

COPY --from=build /app/my-app.jar /app/my-app.jar

CMD ["spark-submit", "--master", "local", "/app/my-app.jar"]

要在18.09以下使用BuildKit，可以导出环境变量：

export DOCKER_BUILDKIT=1

或在/etc/docker/daemon.json中使用新的默认值更新引擎：

{ "features": {"buildkit": true} }

大型Docker上下文放慢了docker-compose构建的速度

1 个答案: