用于pyspark 3的HDinsight python包

Question

我按照Microsoft提供的教程使用azure门户网站上的脚本操作功能安装python包

https://docs.microsoft.com/en-us/azure/hdinsight/spark/apache-spark-python-package-installation

这似乎只安装软件包，以便可以通过pyspark内核而不是pyspark和pyspark 3内核访问它们。我很奇怪是否有人知道如何通过pyspark 3内核看到它？

Answer 1

由更改目录修复 是

err

到

/usr/bin/anaconda/bin/pip

Answer 2

来自GLalor的答案很棒，但是直到我在代码中添加-n py35为止，使用conda还是对我不起作用

/usr/bin/anaconda/envs/py35/bin/conda install -y -c conda-forge ggplot

安装在PySpark2环境中，而

/usr/bin/anaconda/envs/py35/bin/conda install -y -c conda-forge ggplot -n py35

正确安装后可以在PySpark3会话中使用。我的新手猜测是，无论要安装的文件路径如何，conda都将2识别为默认环境。