Question

当我通过Zeppelin使用pyspark时，我收到以下错误。

蟒蛇＆amp; spark解释器工作正常，所有环境变量都设置正确。

print os.environ['PYTHONPATH']

/x01/spark_u/spark/python:/x01/spark_u/spark/python/lib/py4j-0.10.4-src.zip:/x01/spark_u/spark/python:/x01/spark_u/spark/python /lib/py4j-0.10.4-src.zip:/x01/spark_u/spark/python/lib/py4j-0.10.4-src.zip:/x01/spark_u/spark/python/lib/pyspark.zip:/ X01 / spark_u /火花/蟒：/ X01 / spark_u /火花/蟒/ pyspark：/x01/spark_u/zeppelin/interpreter/python/py4j-0.9.2/src：/ X01 / spark_u /飞艇/解释器/ LIB /蟒

zepplin-env.sh使用以下变量设置

export PYSPARK_PYTHON=/usr/local/bin/python2
export PYTHONPATH=${SPARK_HOME}/python:${SPARK_HOME}/python/lib/py4j-0.10.4-src.zip:${PYTHONPATH}

export SPARK_YARN_USER_ENV="PYTHONPATH=${PYTHONPATH}"

请参阅以下日志文件

INFO [2017-11-01 12：30：42,972]（{pool-2-thread-4} RemoteInterpreter.java [init]：221） - 创建远程解释器 org.apache.zeppelin.spark。的 PySparkInterpreter org.apache.zeppelin.interpreter.InterpreterException：段落_509038605940_-1717438251的口译员pyspark没有结果

提前谢谢

Answer 1

我找到了上述问题的解决方法。当我在目录中创建注释时，没有发现解释器问题。只有当我在toplevel使用注释时才会发生问题。另外我发现这个问题不会发生在0.7.2版本例如： enter image description here

zeppelin-0.7.3未找到口译员pyspark

1 个答案: