Question

我使用的是Storm版本1.1.0和Kafka版本0.10.1.2。

我正在创建Kafka-spout，如下所示：

public KafkaSpout<String, String> getKafkaSpout() {
    String _kafkaBrokers = (String) props.get("bootstrap.servers");
    String _topic = (String) props.get("kafka.topic.name");
    String groupId = (String) props.get("group.id");
    int maxMsgSize = (int) props.get("fetch.message.max.bytes");
    String keySerializer = (String) props.get("key.serializer");
    String valueSerializer = (String) props.get("value.serializer");

    List<String>topics = new ArrayList<String>(`enter code here`);
    topics.add(_topic);

    return new KafkaSpout<String, String (KafkaSpoutConfig.builder(_kafkaBrokers, topics)
            .setFirstPollOffsetStrategy(FirstPollOffsetStrategy.UNCOMMITTED_EARLIEST)
            .setMaxUncommittedOffsets(100)
            .setProp(ConsumerConfig.GROUP_ID_CONFIG, groupId)
            .setProp(ConsumerConfig.MAX_PARTITION_FETCH_BYTES_CONFIG,maxMsgSize)
            .setProp("key.serializer",keySerializer)
            .setProp("value.serializer",valueSerializer)
            .build())
}

我收到以下提到的错误

java.lang.IllegalStateException: Consumer is not subscribed to any topics or assigned any partitions 
at org.apache.kafka.clients.consumer.KafkaConsumer.poll(KafkaConsumer.java:973) 
at org.apache.storm.kafka.spout.KafkaSpout.pollKafkaBroker(KafkaSpout.java:291) 
at org.apache.storm.kafka.spout.KafkaSpout.nextTuple(KafkaSpout.java:225) 
at org.apache.storm.daemon.executor$fn__9798$fn__9813$fn__9844.invoke(executor.clj:647) 
at org.apache.storm.util$async_loop$fn__555.invoke(util.clj:484) 
at clojure.lang.AFn.run(AFn.java:22) at java.lang.Thread.run(Thread.java:745)

以及我在下面提到的项目

中的maven依赖项的其他依赖项

<dependency>
    <groupId>org.apache.storm</groupId>
    <artifactId>storm-kafka-client</artifactId>
    <version>1.1.0.2.6.2.0-205</version>
</dependency>
<dependency>
    <groupId>org.apache.storm</groupId>
    <artifactId>storm-kafka</artifactId>
    <version>1.1.0.2.6.2.0-205</version>
</dependency>

Answer 1

我认为List<String>topics = new ArrayList<String>("enter code here");是您的问题？您可能需要在该列表中写下您的主题名称。

您的依赖版本很奇怪，AFAIK Storm还没有发布任何版本字符串。

我也想知道为什么你需要风暴kafka-client，这是为Kafka＆gt; 0.10集群和storm-kafka，适用于较旧的Kafka集群（但我认为目前仍与最新的Kafka兼容）。

Kafka spout错误＆＃34;消费者没有订阅任何主题或分配任何分区＆＃34;

1 个答案: