我对安装pyspark
软件包时发生的事情感到困惑。
是否在我的机器上(主控/调度程序+ 1个工作程序)设置了一个火花集群?当我运行pyspark时,是否使用python代码在外壳中启动spark上下文?
许多教程都讨论了从apache安装spark,然后使用pyspark与之交互。
#installed jdk8 and rebooted
(base)$ conda install pyspark
(base)$ pyspark
...
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/__ / .__/\_,_/_/ /_/\_\ version 2.4.0
/_/
Using Python version 3.7.1 (default, Dec 14 2018 13:28:58)
SparkSession available as 'spark'.
>>> a = "yolo"
>>> a + "me"
'yolome'
>>> a = [1,2,3]
>>> for n in a: n+5
...
6
7
8