Question

我在我的机器和我的其他机器上安装了Storm 1.1.1，我使用的是Kafka版本0.10.0.1。这两个服务都与Zookeeper版本3.4.6

连接

我成功部署了我的拓扑，看起来像这样：

    public class SOTopology 
{
    public static void main (String[] args ) throws Exception
    {

        final String brokers = args[0];
        final String kafkaTopic = args[1];
        final String mongo_uri = args[2];
        final String mongo_collection = args[3];

        TopologyBuilder topology=new TopologyBuilder();
        topology.setSpout("KafkaSpout",new KafkaSpout<>(KafkaSpoutConfig.builder(brokers, kafkaTopic).build()), 1);
        topology.setBolt("FilterBolt", new Filterbolt(),1).shuffleGrouping("KafkaSpout");
        topology.setBolt("TagCountBolt", new TagCountBolt(),1).shuffleGrouping("FilterBolt");
        topology.setBolt("TopicBolt", new TopicBolt(),1).shuffleGrouping("FilterBolt");
        topology.setBolt("MongoDBBolt",new MongoDBBolt(),1).shuffleGrouping("TagCountBolt").shuffleGrouping("TopicBolt");

        Config conf = new Config();
        conf.setDebug(true);
        conf.put("mongo.uri", mongo_uri);
        conf.put("mongo.collection", mongo_collection);
        conf.setMaxSpoutPending(40);
        conf.setNumWorkers(10);
        conf.setDebug(true);

        StormSubmitter.submitTopology("StackOverflowTopology", conf, topology.createTopology());
    }
}

当我去找我的StormUI时，我收到以下消息Offset lags for kafka not supported for older versions. Please update kafka spout to latest version.我没有使用HDP，但我已经使用了最新的风暴版本和我的storm-clients.jar和storm-kafka-client。 jar都是1.1.1版本。有谁知道如何解决这个问题？

编辑：在可能的重复中，他们使用HDP并通过更新他们的HDP集群来修复它。由于我没有在HDP上运行它，我无法真正更新我的HDP群集，并且我确定我的风暴是正确的版本。

Answer 1

如链接问题所述：解决方案是升级到最新版本的平台。

如果您出于某种原因设法避免分发，这在提出问题时可能是不可能/不切实际的，但正如我们几年后现在肯定可以升级的情况。（而且可能已经有了）。

Storm Ui错误kafka spout，不使用HDP

1 个答案: