如何在HDP中的zeppelin-spark2中将库安装到python

Question

我正在使用HDP版本：2.6.4

您是否可以提供有关如何在spark2下的python目录中安装库的分步说明？

sc.version（spark版本）返回

res0: String = 2.2.0.2.6.4.0-91

spark2解释器名称和值如下

zeppelin.pyspark.python:    /usr/local/Python-3.4.8/bin/python3.4

python版本和当前库是

%spark2.pyspark

import pip
import sys

sorted(["%s==%s" % (i.key, i.version) for i in pip.get_installed_distributions()])

print("--")     
print (sys.version)
print("--")
print(installed_packages_list)

--
3.4.8 (default, May 30 2018, 11:05:04) 
[GCC 4.4.7 20120313 (Red Hat 4.4.7-18)]
--
['pip==9.0.1', 'setuptools==28.8.0']

更新1：using pip install [package name]实际上导致了两个问题

1）HDP指向python2.6而不是python3.4.8

2）pip3因某种原因不存在

因此，我正在考虑安装miniconda并在那里指向Zeppelin并在conda中安装所有软件包以防止python 2.6和3.4.8之间的冲突

Answer 1

这对我们来说很痛苦。可行的解决方法是：

1. 相应地使用pip或pip3从终端安装所需的python软件包。
2. 默认情况下，spark解释器上的zeppelin.pyspark.python设置为：python。此python无法识别我们使用终端安装的软件包。我们必须更新zeppelin.pyspark.python： / usr / bin / python （python命令的路径，您可以使用命令“哪个python”来获取它）

现在，解释器和齐柏林飞艇笔记本电脑可以访问我们从终端安装的所有软件包。

Answer 2

您需要打开终端并输入pip，然后按TAB键。应列出沙箱中可用的点数版本。使用 pip3 安装所需的软件包。这样做的方法仍然相同pip3 install "packageName"。这将使您希望在Zeppelin中使用的Python3安装包可用。