针对旧版本不支持kafka的Storm UI throw＆＃34; Offset滞后。请将kafka spout更新为最新版本。＆＃34;

Question

我已将hdp群集升级到2.5，并将storm-core的拓扑依赖关系升级到1.0.1，将storm-kafka升级到1.0.1。在使用新的1.0.1依赖关系部署新拓扑之后，一切都在后端按预期工作，但风暴UI并未显示为＆＃34; Acked＆＃34;，＆＃34; Emitted＆＃34;，＆＃34;转移＆＃34;等

Storm UI显示消息＆＃34;旧版本不支持kafka的偏移滞后。请将kafka spout更新为最新版本。＆＃34;在＆＃34;拓扑喷口滞后错误＆＃34;这是什么意思？

Answer 1

HDP 2.5中的Apache Storm实际上与官方Apache Storm 1.0.1不同，因为它从下一个版本中提取了更多补丁（尚未发布）。

https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.5.0/bk_release-notes/content/patch_storm.html

功能“Kafka的偏移滞后”是由Storm 1.1.0引入的（尚未发布）并且需要相关的storm-kafka版本（所以也从Storm 1.1.0开始）。

您需要将storm-core和storm-kafka的版本设置为相关（也可能需要将HWX repo设置为您的pom）。您可以从UI中看到版本，或者“./storm版本”或守护进程日志的结果。

Answer 2

我完全同意“Jungtaek Lim”（上面的回答）。

HDP 2.5中的Apache Storm实际上与官方Apache Storm 1.0.1不同，因为它从下一个版本中提取了更多补丁（尚未发布）。

我通过从HDP存储库（http://repo.hortonworks.com/content/repositories/releases/org/apache/storm/storm-kafka/1.0.1.2.5.0.0-1245/）提取HDP 2.5 strom-kafka依赖来解决此问题。