为Jupyter(Anaconda)安装Scala内核(或Spark / Toree)

时间:2016-09-16 16:06:10

标签: python scala jupyter jupyter-notebook apache-toree

我正在运行RHEL 6.7,并安装了Anaconda。 (anaconda 4.10)。 Jupyter正在使用OOTB,默认情况下它有Python内核。一切都花花公子所以我可以在Jupyter中选择“python notebook”。

我现在也想让Scala与Jupyter建立起来。 (看起来像Spark内核 - 现在Toree会起作用吗?)

我见过的每一个问题/答案都没有引用我遇到的问题。

我试图安装Toree,然后做了

sudo pip install toree 

它有效。但接下来的步骤也是

jupyter toree install

我得到的错误是:

jupyter toree install
Traceback (most recent call last):
  File "/usr/app/anaconda/bin/jupyter-toree", line 7, in <module>
    from toree.toreeapp import main
ImportError: No module named toree.toreeapp

我错过了一步吗?我做错了什么?如果我需要提供更多信息,我也会很高兴。谢谢!

编辑:在Jupyter中获取Scala笔记本的标准/最简单/最可靠的方法是什么? (TL; DR)

3 个答案:

答案 0 :(得分:2)

如果你想用2.11获得spark 2.0,你可能会得到奇怪的消息。 您需要更新到最新的toree 0.2.0 对于Ubuntu 16.04 64bit。我有包装&amp; tgz文件 https://anaconda.org/hyoon/toree

对于python 2.7&amp;你需要conda。如果您不知道如何,那么只需下载tgz然后

tar zxvf toree-0.2.0.dev1.tar.gz
pip install -e toree-0.2.0.dev1

我更愿意:

jupyter toree install --interpreters=Scala --spark_home=/opt/spark --user --kernel_name=apache_toree --interpreters=PySpark,SparkR,Scala,SQL

将在~/.local/share/jupyter/kernels中创建内核(--user是密钥)

快乐的火花!

答案 1 :(得分:0)

首先,确保在shell环境中设置SPARK_HOME变量以指向spark所在的位置,例如:

export SPARK_HOME=$HOME/Downloads/spark-2.0.0-bin-hadoop2.7

下次安装toree with

sudo jupyter toree install --spark_home=$SPARK_HOME

答案 2 :(得分:0)

以下为我工作(使用conda 4.2.13):

conda install -c creditx toree

然后,

jupyter toree install --spark_home=/home/crocefisso/Softs/spark-2.0.0-bin-hadoop2.7 --user

其中/home/crocefisso/Softs/spark-2.0.0-bin-hadoop2.7是放置Spark的地方