使用SparkSession创建一个没有SparkContext的指定模式的空DataFrame

时间:2018-05-09 09:52:52

标签: apache-spark apache-spark-sql spark-dataframe

这与How to create an empty DataFrame with a specified schema?

不同

不同之处在于我在问“没有SparkContext ”。我问这个要求的原因是

  

从Spark 2.x.x开始,所有三个数据抽象都是统一的   SparkSession是Spark的统一入口点。

如果它们都是统一的,我们是否可以使用指定的架构创建一个空的DataFrame而不使用SparkContext(仅限SparkSession

基本上,我正在寻找像SparkSession.createDataFrame这样的东西。

0 个答案:

没有答案