如何在Ubuntu上的Anaconda发行版上安装Spark？

Question

我有Ubuntu 18.04。我正在使用anaconda发行版来使用jupyter笔记本和python。我想安装spark和pyspark以与HDFS一起使用。 我想知道同样的正确安装过程。 谢谢

Answer 1

conda install -c conda-forge pyspark 

这允许您使用conda-forge频道将PySpark安装到anaconda环境中。为了使其与Spark一起使用，只需在Spark集群上运行代码即可。有关更多信息，请查看here，其中有一些有关将蟒蛇与PySpark和Spark一起使用的参考。