在apache zeppelin中找不到pyspark解释器

时间:2016-07-05 12:14:18

标签: python apache-spark pyspark hortonworks-data-platform apache-zeppelin

我遇到在Apache-Zeppelin(版本0.6.0)笔记本中使用pyspark的问题。运行以下简单代码会给我pyspark interpreter not found错误

%pyspark
a = 1+3

正在运行sc.version给了我res2: String = 1.6.0这是我机器上安装的spark的版本。并且正在运行z返回res0: org.apache.zeppelin.spark.ZeppelinContext = {}

  1. Pyspark在CLI中工作(使用spark 1.6.0和python 2.6.6)

  2. 机器2.6.6上的默认python,而anaconda-python 3.5也已安装但未设置为默认python。

  3. 基于此post我更新了位于/usr/hdp/current/zeppelin-server/lib/conf的zeppelin-env.sh文件并添加了Anaconda python 3路径

  4. export PYSPARK_PYTHON=/opt/anaconda3/bin/python
    export PYTHONPATH=/opt/anaconda3/bin/python
    

    之后我停止并使用

    多次重启zeppelin
    /usr/hdp/current/zeppelin-server/lib/bin/zeppelin-daemon.sh
    

    但是我不能让pyspark口译员在齐柏林飞艇上工作。

1 个答案:

答案 0 :(得分:0)

对于发现pyspark没有响应的人,请尝试重新启动Zeppelin中的spark解释器,它可以解决pyspark没有响应 错误。