将主机操作系统中的numpy用于火花容器

时间:2019-05-29 08:51:31

标签: numpy docker apache-spark

我想在Ubuntu 18.04上将Docker映像与Apache Spark一起使用。

来自中心的较受欢迎的图像为Spark 1.6。 第二张图片的版本为Spark 2.2

没有图像安装numpy。 Spark MLlib main guide的基本示例需要它。

我尝试运行Dockerfile未能成功安装numpy,将其添加到Spark 2.2映像的原始Dockerfile中:

RUN apt-get install python-numpy python-scipy python-matplotlib ipython ipython-notebook python-pandas python-sympy python-nose

如何设置容器以使用操作系统的numpy安装?程序是什么?这完全是正确的方向吗?

编辑:操作系统为Ubuntu 18.04

1 个答案:

答案 0 :(得分:1)

Dockerfile:

FROM p7hb/docker-spark

RUN apt-get update && apt install -y python-numpy

构建命令:

docker build -t my_image .

运行容器:

docker run -it --rm my_image /bin/bash

检查数字:

root@55ce4c59122c:~# python
Python 2.7.13 (default, Jan 19 2017, 14:48:08)
[GCC 6.3.0 20170118] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import numpy
>>> print(numpy.__version__)
1.12.1