如何在Spark中将非流数据帧转换为流数据帧

时间:2020-06-16 05:31:18

标签: scala dataframe apache-spark apache-spark-sql spark-streaming

我正在使用需要流式数据帧的代码,但是我的源DF是非流式的

流数据帧可以通过here中描述的方法来创建。主要方法是使用SparkSession.read ...(path),但是我想从现有的json或非流式DF对象创建流式DF。

我有一个http响应,并使用以下内容将其转换为DF:

val df = spark.read.json(Seq(response.body).toDS)(spark.readStream不存在等效项)

骇人听闻的解决方案是将json保存为文件,然后使用SparkSession.readStream.json(path)进行加载,但是我想知道是否有更优雅的解决方案。理想情况下,类似val = spark.readStream.df(df)df.convertToStreaming()

0 个答案:

没有答案