我遇到在Apache-Zeppelin(版本0.6.0)笔记本中使用pyspark的问题。运行以下简单代码会给我pyspark interpreter not found
错误
%pyspark
a = 1+3
正在运行sc.version
给了我res2: String = 1.6.0
这是我机器上安装的spark的版本。并且正在运行z
返回res0: org.apache.zeppelin.spark.ZeppelinContext = {}
Pyspark在CLI中工作(使用spark 1.6.0和python 2.6.6)
机器2.6.6上的默认python,而anaconda-python 3.5也已安装但未设置为默认python。
基于此post我更新了位于/usr/hdp/current/zeppelin-server/lib/conf
的zeppelin-env.sh文件并添加了Anaconda python 3路径
export PYSPARK_PYTHON=/opt/anaconda3/bin/python export PYTHONPATH=/opt/anaconda3/bin/python
之后我停止并使用
多次重启zeppelin/usr/hdp/current/zeppelin-server/lib/bin/zeppelin-daemon.sh
但是我不能让pyspark口译员在齐柏林飞艇上工作。
答案 0 :(得分:0)
对于发现pyspark没有响应的人,请尝试重新启动Zeppelin中的spark解释器,它可以解决pyspark没有响应 错误。