将Spark Stream写入多个消费者

时间:2018-06-05 12:20:16

标签: apache-spark spark-streaming

我想将Spark Streaming数据写入两个不同的消费者(基于条件)

  • 卡夫卡
  • 数据库

我创建了两个DF“greater_response”和“less_response”,并写了两个awaitTerminiation

greater_response.awaitTermination()
less_response.awaitTermination()

这是正确的方法吗?或者任何其他方便处理的方式,将来我也可能要写入不同的Kafka主题。

0 个答案:

没有答案