使用3种拓扑时获取“当前批处理(...)落后于状态批处理”

时间:2019-10-21 07:50:00

标签: hadoop apache-storm trident

我有三种拓扑结构,它们侦听相同的Kafka主题并将数据写入不同的HBase表。大多数情况下,其中一个正在工作,而其他两个我得到“当前批次(430)落后于州的批次”。 刚开始时这是一种大拓扑,可以正常工作,但是部署起来变得很大。将其一分为三之后,这个问题就开始了。

我尝试将Zookeeper中的“ currtx”更改为更大的数字,但它仅解决了一种拓扑的问题。正在工作的onw开始出现相同的错误。 我的印象是,拓扑在某种程度上使用相同的计数器进行状态维护,这导致数据争用。 Somebodx是否经历过类似的经历?

0 个答案:

没有答案