" spark-shell"有什么区别?和" spark-shell --master = local"?

时间:2018-02-22 01:52:28

标签: apache-spark

如果我使用以下两个命令打开Spark,有人可以帮助我理解有什么区别吗?

  1. spark-shell
  2. spark-shell --master=local

1 个答案:

答案 0 :(得分:4)

当您启动没有--master选项的spark shell时,使用本地计算机的所有核心,因为您可以在日志中看到它以下面的消息开头

Spark context available as 'sc' (master = local[*], app id = local-1519264959885).
Spark session available as 'spark'.

但是当你开始使用--master local选项时,它开始只使用本地计算机的一个核心,正如你在日志中看到的那样

Spark context available as 'sc' (master = local, app id = local-1519265031949).
Spark session available as 'spark'.