我正在使用需要流式数据帧的代码,但是我的源DF是非流式的
流数据帧可以通过here中描述的方法来创建。主要方法是使用SparkSession.read ...(path),但是我想从现有的json或非流式DF对象创建流式DF。
我有一个http响应,并使用以下内容将其转换为DF:
val df = spark.read.json(Seq(response.body).toDS)
(spark.readStream不存在等效项)
骇人听闻的解决方案是将json保存为文件,然后使用SparkSession.readStream.json(path)
进行加载,但是我想知道是否有更优雅的解决方案。理想情况下,类似val = spark.readStream.df(df)
或df.convertToStreaming()