Spark-Streaming-Kafka:在使用Assign寻找最新的偏移后重新平衡分区

时间:2018-03-15 00:54:50

标签: apache-spark apache-kafka spark-streaming offset rebalancing

我有三个Spark Streaming作业使用ConsumerStrategies.Assign[]()来寻找提交到数据库的最新偏移量。

这些作业中的每一个都是从主题中的三个分区之一读取(例如:分区0,1和2)。如果其中一个Spark Streaming作业失败,是否可以将该分区重新平衡为当前正在运行的其他两个作业之一。

我知道你可以使用ConsumerRebalanceListeneronPartitionsProvoked()onPartitionsAssigned()在普通卡夫卡中做到这一点。但是你如何在Spark-Streaming-Kafka中做到这一点?

0 个答案:

没有答案