如何安装conda python软件包

时间:2019-10-08 08:57:54

标签: python pyspark

我想在所有群集计算机上安装conda python软件包

1 个答案:

答案 0 :(得分:1)

签出conda-pack

  

conda-pack可用于分发在Apache YARN上部署时与Apache Spark作业一起使用的conda环境。通过捆绑您的环境以供Spark使用,您可以利用conda提供的所有库,并确保在每个节点上都提供一致的库。通过将环境分发为存档,从而利用YARN的资源本地化,然后在每个节点上自动取消存档。在这种情况下,必须使用tar.gz或zip格式。

来源:https://conda.github.io/conda-pack/spark.html