我在Zeppelin中运行此代码,我收到以下错误消息
from pyspark import SparkContext
from pyspark.sql import HiveContext
sc = SparkContext(appName="PythonSQL")
hive_context = HiveContext(sc)
bank = hive_context.table("default.invites_orc")
bank.show()
bank.registerTempTable("bank_temp")
hive_context.sql("select * from bank_temp").show()
sc.stop()
:1:错误:';'预期但发现'进口'。 来自pyspark导入SparkContext ^
答案 0 :(得分:0)
Spark解释器组目前有4个解释器,如此处所列......
https://zeppelin.incubator.apache.org/docs/0.5.0-incubating/interpreter/spark.html
默认解释器是%spark,默认解释器是根据zeppelin-site.xml配置文件中zeppelin.interpreters属性中列出的解释器顺序选择的。
zeppelin-site.xml(zeppelin.interpreters属性)中解释器的当前顺序将是这个......
org.apache.zeppelin.spark.SparkInterpreter,org.apache.zeppelin.spark.PySparkInterpreter 修改为......
org.apache.zeppelin.spark.PySparkInterpreter,org.apache.zeppelin.spark.SparkInterpreter 并重新启动Zeppelin(zeppelin-daemon.sh restart)
这将使%pyspark成为默认解释器。
OR
你可以这样写
%pyspark
来自pyspark导入SparkContext
谢谢......快乐的火花!