Spark结构化流的自定义ID

时间:2018-06-21 08:42:35

标签: apache-spark spark-structured-streaming

在Spark结构化流中,我们可以定义一个流查询,例如:

var writer: DataStreamWriter[Row] = DF.writeStrea
val query = writer.trigger(Trigger.ProcessingTime(option("duration").toInt, TimeUnit.SECONDS)).start() 

然后我们可以通过query.id获取ID,并通过query.RunId获取runId。

我的问题是我可以使用自己的query.id的ID进行此类查询吗,我还没有找到像setId这样的有效方法来设置要查询的ID。

0 个答案:

没有答案