如何在Spark结构化流媒体上进行两个流之间的连接? - Java 8

时间:2017-04-20 07:23:12

标签: java-8 outer-join spark-structured-streaming

我知道,目前还不支持两个流之间的连接。但无论如何还有办法吗? 或者我需要等待Spark 2.2.0? 谢谢

3 个答案:

答案 0 :(得分:4)

Spark 2.2.0仍然不支持流 - 流连接。你可以看这张票:https://issues.apache.org/jira/browse/SPARK-18791

答案 1 :(得分:1)

截至Spark 2.3的生产版本,结构化流媒体现在支持stream-stream joins

答案 2 :(得分:-1)

如果您想加入流,我建议您使用Kafka Streams而不是Structured Spark Streaming。check this link to see how this can be done