我非常羡慕它的jupyter笔记本中的DataBricks自动完成功能,但我不能让它在我的本地安装上工作。
我挖出了%config IPCompleter.greedy = True的文档 适用于python,但不适用于pyspark或spark-shell(scala)。 有谁知道如何使这项工作?
BTW:我正在使用Spark 2.0.0&在ubuntu 16.04 64bit上的Spark 2.11。 此外,还可以使用Spark 2.0& Spark2.11,我编译了 toree组装-0.2.0.dev1-孵化-SNAPSHOT 那是在hyoon下我的binstar。 https://anaconda.org/hyoon/toree
答案 0 :(得分:0)
似乎从Spark 2.2开始就解决了这个问题。但是要正确设置环境变量。现在一切正常。
下面是一个重要的!
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/build:$SPARK_HOME/python/lib/py4j-0.10.1-src.zip:$PYTHONPATH