什么是apache toree的火花内核？

Question

我有一个主人在192.168.0.60:7077

的火花丛

我曾经使用jupyter笔记本制作一些pyspark脚本。 我现在愿意继续scala。 我不知道斯卡拉的世界。 我正在尝试使用Apache Toree。 我安装了它，下载了scala内核，并运行它以打开一个scala笔记本。直到那里一切似乎都好： - /

但是我找不到spark上下文，并且jupyter的服务器日志中存在错误：

[I 16:20:35.953 NotebookApp] Kernel started: afb8cb27-c0a2-425c-b8b1-3874329eb6a6
Starting Spark Kernel with SPARK_HOME=/Users/romain/spark
Error: Master must start with yarn, spark, mesos, or local
Run with --help for usage help or --verbose for debug output
[I 16:20:38.956 NotebookApp] KernelRestarter: restarting kernel (1/5)

由于我不知道斯卡拉，我不确定这里的问题？ 它可能是：

1. 我需要一个火花内核（根据https://github.com/ibm-et/spark-kernel/wiki/Getting-Started-with-the-Spark-Kernel）

2. 我需要在服务器上添加一个选项（错误信息显示'Master必须以yarn，spark，mesos或local'开头）

3. 或其他： - /

我只是愿意从python迁移到scala，我在启动jupyter IDE时花了几个小时的时间： - /

Answer 1

您似乎在独立部署模式下使用Spark。正如Tzach在评论中所说，以下应该有效：

SPARK_OPTS='--master=spark://192.168.0.60:7077' jupyter notebook 

SPARK_OPTS需要通常的spark-submit参数列表。

如果这没有帮助，您需要检查SPARK_MASTER_PORT中的conf/spark-env.sh值（默认为7077）。