Question

我尝试从本地计算机（OSX）上的文件夹中流式传输CSV文件。我一起使用SparkSession和StreamingContext：

val sc: SparkContext = createSparkContext(sparkContextName)
val sparkSess = SparkSession.builder().config(sc.getConf).getOrCreate()
val ssc = new StreamingContext(sparkSess.sparkContext, Seconds(time))

val csvSchema = new StructType().add("field_name",StringType)
val inputDF = sparkSess.readStream.format("org.apache.spark.csv").schema(csvSchema).csv("file:///Users/userName/Documents/Notes/MoreNotes/tmpFolder/")

如果我在此之后运行ssc.start()，我会收到此错误：

java.lang.IllegalArgumentException: requirement failed: No output operations registered, so nothing to execute

相反，如果我尝试像这样开始SparkSession：

inputDF.writeStream.format("console").start()

我明白了：

java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext.

显然，我不理解SparkSession和StreamingContext应如何协同工作。如果我摆脱SparkSession，StreamingContext只有textFileStream，我需要在其上强制使用CSV架构。非常感谢有关如何使其发挥作用的任何说明。

Answer 1

你不能同时拥有一个火花会话和火花环境。随着Spark 2.0.0的发布，开发人员可以使用一个新的抽象--Spark会话 - 可以实例化并调用，就像之前可用的Spark Context一样。

您仍然可以从spark会话构建器访问spark上下文：

 val sparkSess = SparkSession.builder().appName("My App").getOrCreate()
 val sc = sparkSess.sparkContext
 val ssc = new StreamingContext(sc, Seconds(time))

导致作业失败的另一个原因是您正在执行转换而不会调用任何操作。最后应该调用一些动作，例如inputDF.show（）

如何一起使用SparkSession和StreamingContext？

1 个答案: