无法以分布式模式运行Kafka Connect - 尝试创建/查找主题时出错' connect-offsets'

时间:2017-08-31 17:22:07

标签: apache-kafka apache-kafka-connect

  

[2017-08-31 10:15:20,715]警告配置   ' internal.key.converter'已提供,但不是已知的配置。   (org.apache.kafka.clients.admin.AdminClientConfig:231)[2017-08-31   10:15:20,715]警告配置   ' status.storage.replication.factor'提供但不是已知的   配置。 (org.apache.kafka.clients.admin.AdminClientConfig:231)   [2017-08-31 10:15:20,715]警告配置   ' internal.value.converter.schemas.enable'提供但不是   已知配置。 (org.apache.kafka.clients.admin.AdminClientConfig:231)   [2017-08-31 10:15:20,715]警告配置   ' value.converter.schemas.enable'提供但不是已知的   配置。 (org.apache.kafka.clients.admin.AdminClientConfig:231)   [2017-08-31 10:15:20,715]警告配置   ' internal.value.converter'已提供,但不是已知的配置。   (org.apache.kafka.clients.admin.AdminClientConfig:231)[2017-08-31   10:15:20,715]警告配置   ' offset.storage.replication.factor'提供但不是已知的   配置。 (org.apache.kafka.clients.admin.AdminClientConfig:231)   [2017-08-31 10:15:20,716]警告配置   ' offset.storage.topic'已提供,但不是已知的配置。   (org.apache.kafka.clients.admin.AdminClientConfig:231)[2017-08-31   10:15:20,716]警告配置' value.converter'提供   但不是一个已知的配置。   (org.apache.kafka.clients.admin.AdminClientConfig:231)[2017-08-31   10:15:20,716]警告配置' key.converter'提供但是   不是一个已知的配置。   (org.apache.kafka.clients.admin.AdminClientConfig:231)[2017-08-31   10:15:20,768] INFO jetty-9.2.15.v20160210   (org.eclipse.jetty.server.Server:327)2017年8月31日10:15:21 AM   org.glassfish.jersey.internal.Errors logErrors警告:以下内容   已检测到警告:警告:(子)资源方法   listConnectors in   org.apache.kafka.connect.runtime.rest.resources.ConnectorsResource   包含空路径注释。警告:(子)资源方法   createConnector in   org.apache.kafka.connect.runtime.rest.resources.ConnectorsResource   包含空路径注释。警告:(子)资源方法   listConnectorPlugins in   org.apache.kafka.connect.runtime.rest.resources.ConnectorPluginsResource   包含空路径注释。警告:(子)资源方法   serverInfo in   org.apache.kafka.connect.runtime.rest.resources.RootResource包含   空路径注释。

     

[2017-08-31 10:15:21,142] INFO开始   o.e.j.s.ServletContextHandler@63f02de0 {/,NULL,AVAILABLE}   (org.eclipse.jetty.server.handler.ContextHandler:744)[2017-08-31   10:15:21,149] INFO开始   ServerConnector @ 61b06738 {HTTP / 1.1} {0.0.0.0:8083}   (org.eclipse.jetty.server.ServerConnector:266)[2017-08-31   10:15:21,149] INFO开始@ 13584ms   (org.eclipse.jetty.server.Server:379)[2017-08-31 10:15:21,150] INFO   REST服务器在http://172.28.193.126:8083/收听广告URL   http://172.28.193.126:8083/   (org.apache.kafka.connect.runtime.rest.RestServer:150)[2017-08-31   10:15:21,150] INFO Kafka Connect开始了   (org.apache.kafka.connect.runtime.Connect:55)[2017-08-31   10:15:21,468] ERROR牧师工作线程中未捕获的异常,退出:   (org.apache.kafka.connect.runtime.distributed.DistributedHerder:206)   org.apache.kafka.connect.errors.ConnectException:同时出错   尝试创建/查找主题' connect-offsets'在   org.apache.kafka.connect.util.TopicAdmin.createTopics(TopicAdmin.java:245)     在   org.apache.kafka.connect.storage.KafkaOffsetBackingStore $ 1.run(KafkaOffsetBackingStore.java:99)     在   org.apache.kafka.connect.util.KafkaBasedLog.start(KafkaBasedLog.java:126)     在   org.apache.kafka.connect.storage.KafkaOffsetBackingStore.start(KafkaOffsetBackingStore.java:109)     在org.apache.kafka.connect.runtime.Worker.start(Worker.java:146)at   org.apache.kafka.connect.runtime.AbstractHerder.startServices(AbstractHerder.java:99)     在   org.apache.kafka.connect.runtime.distributed.DistributedHerder.run(DistributedHerder.java:194)     在   java.util.concurrent.Executors $ RunnableAdapter.call(Executors.java:511)     在java.util.concurrent.FutureTask.run(FutureTask.java:266)at   java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)     在   java.util.concurrent.ThreadPoolExecutor中的$ Worker.run(ThreadPoolExecutor.java:624)     在java.lang.Thread.run(Thread.java:748)引起:   java.util.concurrent.ExecutionException:   org.apache.kafka.common.errors.UnknownServerException:服务器   在处理请求时遇到意外错误   org.apache.kafka.common.internals.KafkaFutureImpl.wrapAndThrow(KafkaFutureImpl.java:45)     在   org.apache.kafka.common.internals.KafkaFutureImpl.access $ 000(KafkaFutureImpl.java:32)     在   org.apache.kafka.common.internals.KafkaFutureImpl $ SingleWaiter.await(KafkaFutureImpl.java:89)     在   org.apache.kafka.common.internals.KafkaFutureImpl.get(KafkaFutureImpl.java:213)     在   org.apache.kafka.connect.util.TopicAdmin.createTopics(TopicAdmin.java:226)

2 个答案:

答案 0 :(得分:1)

Kafka Connect 0.11.0.0无法在早于0.10.1.0的代理上创建主题,因为这些旧代理中使用的协议不支持主题管理。

因此,如果您有一个较旧的代理,您应该手动创建主题或依赖代理自动创建。不幸的是,Kafka Connect 0.11.0.0中的a bug会阻止自动创建,因此在0.11.0.1可用之前,您必须手动创建主题。

答案 1 :(得分:1)

在分布式模式下启动Kafka Connect时,它会尝试创建或期望Kafka中存在多个主题。在我的情况下,自动主题创建已被关闭,因此Kafka Connect无法在我运行它的环境中创建主题。自己创建这些主题解决了这个问题。您可以在属性文件中指定这些主题的名称(如下所示)。

offset.storage.topic

config.storage.topic

status.storage.topic