风暴+卡夫卡：了解确认，失败和延迟

Question

我正在使用KafkaSpout来消费2个Kafka主题，每个主题有6个分区。喷嘴转到一个螺栓，打开相关的字节，然后转到第二个螺栓进行进一步处理。

当我看到 storm-ui 时，这些数字并没有多大意义，我希望有人可以解决这些问题。

1. Kafka的鲸鱼喷水说它“惹恼”了~3600个元组并且失败了~73M。看看下一组中的螺栓，我看到有些人已经做了大约73M而0失败了，而其他人已经做了~1.3M（没有失败）。这些数字不应该以某种方式排队吗？

2. 喷嘴行中的“完全延迟”为~2500ms，而螺栓的执行和处理延迟范围为<1ms至~50ms。再一次 - 通信是什么？

是 - 此拓扑存在一些主要问题（请参阅this相关问题）。

我附上了用户界面的图像，希望有人帮助我理解它。

Answer 1

听起来你的元组已经超时，并且正在通知鲸鱼喷水。报告螺栓的零故障意味着螺栓没有明确地使任何元组失效，这就是为什么我认为它们必须超时。

根据你的另一个问题，因为只有一些螺栓正在完成所有的工作，你会得到严重的积压，这可能是元组超时的原因。

根据您在其他问题中的评论，您可以更改为随机分组以将工作负载分散到所有螺栓，您可能会增加配置中的超时设置。