在Jupyter自动完成pyspark&斯卡拉

时间:2016-09-22 01:06:24

标签: scala apache-spark pyspark jupyter

我非常羡慕它的jupyter笔记本中的DataBricks自动完成功能,但我不能让它在我的本地安装上工作。

我挖出了%config IPCompleter.greedy = True的文档 适用于python,但不适用于pyspark或spark-shell(scala)。 有谁知道如何使这项工作?

BTW:我正在使用Spark 2.0.0&在ubuntu 16.04 64bit上的Spark 2.11。 此外,还可以使用Spark 2.0& Spark2.11,我编译了 toree组装-0.2.0.dev1-孵化-SNAPSHOT 那是在hyoon下我的binstar。 https://anaconda.org/hyoon/toree

1 个答案:

答案 0 :(得分:0)

似乎从Spark 2.2开始就解决了这个问题。但是要正确设置环境变量。现在一切正常。

下面是一个重要的!

export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/build:$SPARK_HOME/python/lib/py4j-0.10.1-src.zip:$PYTHONPATH