我在Apache spark
的笔记本中使用SqlContext
和Jupyter
,以便从DataFrame
读取和处理数据。此外,与此同时,我想要另一个涉及创建和操纵另一个DataFrame
的笔记本。
此外,我按照此帖中详述的步骤列表:Link Spark with iPython Notebook。因为我想使用笔记本运行Apache spark
。
但是,当我尝试同时运行两个笔记本时,我收到以下错误:
例外:("你必须用Hive构建Spark。导出' SPARK_HIVE = true' 并运行build / sbt assembly",Py4JJavaError('发生错误时 调用None.org.apache.spark.sql.hive.HiveContext。\ n',JavaObject ID = O27))
我的火花配置非常简单,它只是在本地运行,有关详细信息,请参阅以下链接:Spark's configuration
因此,我的问题是如何在Apache Spark
和Jupyter
中同时运行两个笔记本?
提前致谢。