Spark结构化流中的流数据帧和批处理数据帧的联合

时间:2017-09-21 06:15:07

标签: apache-spark spark-structured-streaming

如何在Spark Structured Streaming中将流数据帧和批处理数据帧组合在一起?

1 个答案:

答案 0 :(得分:2)

您可以进行正常加入:

val stream = spark.readStream(....)
val batch = spark.read....

val joinSandB = stream.join(batch, "someColumn")

documentation

中查看详情