启动KsqlRestApplication表单scala并获取NoSuchMethodError org.apache.kafka.streams.StreamsConfig.getConsumerConfigs

时间:2018-03-14 01:21:08

标签: scala apache-kafka apache-kafka-streams ksql

我正在尝试编写一个程序,使我能够在Scala中对Kafka主题运行预定义的KSQL操作,但我不想每次都打开KSQL Cli。因此,我想从我的Scala程序中启动KSQL“Server”。如果我理解正确的KSQL源代码,我必须构建并启动KsqlRestApplication:

def restServer = KsqlRestApplication.buildApplication(new 
KsqlRestConfig(defaultServerProperties), true, new VersionCheckerAgent 
{override def start(ksqlModuleType: KsqlModuleType, properties: 
Properties): Unit = ???})

但是当我尝试这样做时,我收到以下错误:

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.kafka.streams.StreamsConfig.getConsumerConfigs(Ljava/lang/String;Ljava/lang/String;)Ljava/util/Map;
at io.confluent.ksql.rest.server.BrokerCompatibilityCheck.create(BrokerCompatibilityCheck.java:62)
at io.confluent.ksql.rest.server.KsqlRestApplication.buildApplication(KsqlRestApplication.java:241)

我查看了BrokerCompatibilityCheck中的函数调用,并在create函数中调用StreamsConfig.getConsumerConfigs(),其中包含2个字符串作为参数,而不是

中定义的参数

https://kafka.apache.org/0102/javadoc/org/apache/kafka/streams/StreamsConfig.html#getConsumerConfigs(StreamThread,%20java.lang.String,%20java.lang.String)

我的KSQL和Kafka版本是不兼容还是我做错了什么? 我使用的是KSQL版本4.1.0-SNAPSHOT和Kafka版本1.0.0。

1 个答案:

答案 0 :(得分:3)

是的,NoSuchMethodError通常表示库之间的版本不兼容。

您发布的链接是javadoc for kafka 0.10.2。该方法在1.0中没有改变,但实际上在即将到来的1.1中它只需要2个字符串: https://kafka.apache.org/11/javadoc/org/apache/kafka/streams/StreamsConfig.html#getConsumerConfigs(java.lang.String,%20java.lang.String) 。这表明你正在使用的KSQL版本(4.1.0-SNAPSHOT)取决于kafka流的1.1版,目前处于候选发布阶段,我相信并且应该很快就会出来:

https://lists.apache.org/thread.html/780c4458b16590e99261b69d7b41b9ec374a3226d72c8d38885a008a@%3Cusers.kafka.apache.org%3E

根据该电子邮件,您可以在apache staging repo中找到最新的(1.1.0-rc2)工件: https://repository.apache.org/content/groups/staging/