我有三个Spark Streaming作业使用ConsumerStrategies.Assign[]()
来寻找提交到数据库的最新偏移量。
这些作业中的每一个都是从主题中的三个分区之一读取(例如:分区0,1和2)。如果其中一个Spark Streaming作业失败,是否可以将该分区重新平衡为当前正在运行的其他两个作业之一。
我知道你可以使用ConsumerRebalanceListener
,onPartitionsProvoked()
和onPartitionsAssigned()
在普通卡夫卡中做到这一点。但是你如何在Spark-Streaming-Kafka中做到这一点?