在下载pyspark时,它会在本地安装并连接到spark吗?

时间:2018-12-19 19:28:38

标签: apache-spark pyspark

我对安装pyspark软件包时发生的事情感到困惑。

是否在我的机器上(主控/调度程序+ 1个工作程序)设置了一个火花集群?当我运行pyspark时,是否使用python代码在外壳中启动spark上下文?

许多教程都讨论了从apache安装spark,然后使用pyspark与之交互。

#installed jdk8 and rebooted
(base)$ conda install pyspark
(base)$ pyspark
...
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /__ / .__/\_,_/_/ /_/\_\   version 2.4.0
      /_/

Using Python version 3.7.1 (default, Dec 14 2018 13:28:58)
SparkSession available as 'spark'.
>>> a = "yolo"
>>> a + "me"
'yolome'
>>> a = [1,2,3]
>>> for n in a: n+5
...
6
7
8

0 个答案:

没有答案