如何在不同的笔记本中同时使用两个DataFrame?

时间:2016-02-10 15:10:37

标签: apache-spark hive pyspark spark-dataframe

我在Apache spark的笔记本中使用SqlContextJupyter,以便从DataFrame读取和处理数据。此外,与此同时,我想要另一个涉及创建和操纵另一个DataFrame的笔记本。

此外,我按照此帖中详述的步骤列表:Link Spark with iPython Notebook。因为我想使用笔记本运行Apache spark

但是,当我尝试同时运行两个笔记本时,我收到以下错误:

  

例外:("你必须用Hive构建Spark。导出' SPARK_HIVE = true'   并运行build / sbt assembly",Py4JJavaError('发生错误时   调用None.org.apache.spark.sql.hive.HiveContext。\ n',JavaObject   ID = O27))

我的火花配置非常简单,它只是在本地运行,有关详细信息,请参阅以下链接:Spark's configuration

因此,我的问题是如何在Apache SparkJupyter中同时运行两个笔记本?

提前致谢。

0 个答案:

没有答案