Question

我正在尝试使用toDF函数将列表加载到数据框作为测试的一部分，但是问题是我无法创建/获取SparkSession。因此，我不能使用toDF方法。但是，我可以创建一个SparkContext。

除了SparkSession方法之外，还有什么方法可以从SparkContext获取toDF还是可以将列表加载到数据帧中？

Answer 1

您可以使用以下工作代码语法。请验证您使用的spark版本，因为它仅适用于2.0或更高版本。如果您遇到其他错误，请在线程上发布。

val spark = SparkSession
          .builder()
          .master("local")
          .appName("ReadDataFromTextFile")
          .getOrCreate()

val file_2 = spark.read.option("multiline", "true").json("d:/small_projects/spark/cobrand_config.json")

从SparkContext中提取SparkSession

1 个答案: