如何使用SparkSession创建emptyRDD-（因为不赞成使用hivecontext）

Question

IN Spark版本1。*

创建如下的emptyRDD：

var baseDF = hiveContextVar.createDataFrame(sc.emptyRDD[Row], baseSchema)

迁移到Spark 2.0时（因为使用sparkSession弃用了hiveContext）

尝试过：

var baseDF = sparkSession.createDataFrame(sc.emptyRDD[Row], baseSchema)

尽管出现以下错误：

  

org.apache.spark.SparkException：可能仅运行一个SparkContext   在这个JVM中（请参阅SPARK-2243）

有没有一种方法可以使用sparkSession创建emptyRDD？

Answer 1

在Spark 2.0中，您需要通过spark会话引用spark上下文。您可以如下创建空的数据框。它对我有用。

sparkSession.createDataFrame（sparkSession.sparkContext.emptyRDD [Row]，baseSchema）

希望它对您有帮助。