exec和以奇异性构建映像时使用不同的python版本,相同的官方python docker映像

时间:2019-09-16 09:19:40

标签: python docker singularity-container

我正在尝试基于docker://python:3.7-buster创建奇点图像。

%post部分中,当我运行/usr/bin/env python3时,将使用与我singularity exec相同的东西时不同的python版本。

这是我的测试定义文件:

$ cat test.def 
Bootstrap:docker
From:python:3.7-buster

%post
        /usr/bin/env python3 --version

这就是我尝试构建它时发生的事情:

$ sudo singularity build test.sif test.def 
INFO:    Starting build...
Getting image source signatures
Skipping fetch of repeat blob sha256:4a56a430b2bac33260d6449e162017e2b23076c6411a17b46db67f5b84dde2bd
Skipping fetch of repeat blob sha256:4b5cacb629f5c5323a32103e665756e5d50fe133b3db72d444f370566b713a6a
Skipping fetch of repeat blob sha256:14408c8d4f9a59a5da8f4cc40650be9a8d0991fa1ce1b2fb2767f289a9cc410d
Skipping fetch of repeat blob sha256:ea67eaa7dd42136287337f879ef20b4ee73baaa108d833d267ef99dd787cdcbf
Skipping fetch of repeat blob sha256:4d134ac3fe4b8dd8136d9e7acbb2708ead2154185b27c09ae62ca099070cfb27
Skipping fetch of repeat blob sha256:4c55f6f5d7f035e446f063331d9160bb00ed3da4632105ef5adedee3317c902f
Skipping fetch of repeat blob sha256:6ae475e50652d8ee1a2fdeb59ccce81d14c8c20e0fdfe94f22f1c69bd3e3befb
Skipping fetch of repeat blob sha256:6f41526442299286e270923d6cca3a516c3e1850f7e06c3facc0df7da8a5afbc
Skipping fetch of repeat blob sha256:6933d3d4604265f0c8f2a3806222749809c62b6e6a757d1f85720fa81622496d
Copying config sha256:5a5fb77dac35d62c5b062fc35b3b69e61ae68385fb4278ce6076532c3e50e316
 7.47 KiB / 7.47 KiB [======================================================] 0s
Writing manifest to image destination
Storing signatures
2019/09/16 11:07:07  info unpack layer: sha256:4a56a430b2bac33260d6449e162017e2b23076c6411a17b46db67f5b84dde2bd
2019/09/16 11:07:09  info unpack layer: sha256:4b5cacb629f5c5323a32103e665756e5d50fe133b3db72d444f370566b713a6a
2019/09/16 11:07:09  info unpack layer: sha256:14408c8d4f9a59a5da8f4cc40650be9a8d0991fa1ce1b2fb2767f289a9cc410d
2019/09/16 11:07:09  info unpack layer: sha256:ea67eaa7dd42136287337f879ef20b4ee73baaa108d833d267ef99dd787cdcbf
2019/09/16 11:07:11  info unpack layer: sha256:4d134ac3fe4b8dd8136d9e7acbb2708ead2154185b27c09ae62ca099070cfb27
2019/09/16 11:07:18  info unpack layer: sha256:4c55f6f5d7f035e446f063331d9160bb00ed3da4632105ef5adedee3317c902f
2019/09/16 11:07:18  info unpack layer: sha256:6ae475e50652d8ee1a2fdeb59ccce81d14c8c20e0fdfe94f22f1c69bd3e3befb
2019/09/16 11:07:19  info unpack layer: sha256:6f41526442299286e270923d6cca3a516c3e1850f7e06c3facc0df7da8a5afbc
2019/09/16 11:07:19  info unpack layer: sha256:6933d3d4604265f0c8f2a3806222749809c62b6e6a757d1f85720fa81622496d
INFO:    Running post scriptlet
+ /usr/bin/env python3 --version
Python 3.7.3
INFO:    Creating SIF file...
INFO:    Build complete: test.sif

使用系统版本代替docker映像提供的版本,这与我只exec相同命令时发生的情况相反:

$ singularity exec docker://python:3.7-buster /usr/bin/env python3 --version
Python 3.7.4

会发生什么?

我尝试使用$(which python3)而不是/usr/bin/env python3,并且在%post部分中它仍然是相同的版本(对于singularity exec,它是主机系统的版本使用)。

我的目标实际上是能够安装一些我从git存储库提取的个人python软件包,并使用运行/usr/bin/env python3 -m pip install -e .

的安装脚本进行安装

我注意到存在问题,因为python 3的系统版本未包含pip

2 个答案:

答案 0 :(得分:1)

由于环境不同,您将获得不同版本的python。

如果在echo $PATH中添加%post,则会得到:/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin

如果运行singularity exec docker://python:3.7-buster bash -c 'echo $PATH',您将得到:/usr/local/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin

/usr/local/bin/python3是较新的版本,docker容器为您编译,而PATH中的%post/usr/bin优先于/usr/local/bin。您可以在PATH块的开头调整%post变量来解决此问题。

关于为什么在那里使用了不同的PATH,我不确定。可能值得在github repo提出问题。

答案 1 :(得分:0)

我觉得这里发生了很多事情。您是否可以通过尝试检查pip(3)是否在其中(也可能是您只需要使用pip3而不是pip):

$ which pip
$ which pip3

不幸的是,我无法完全帮助您完成另一部分:为什么3.7.3胜过3.7.4。通常,您可以简单地声明python3.7 [arg],但这在这里没有帮助。 3.7.3可能来自其他地方吗?我不知道该系统使用的是2.7或更高版本。

相关问题