Question

我正在努力从Camus迁移到Kafka Connect。我正在致力于Kafka Connect的实施，并专注于分布式模式。我能够在我的本地机器上成功启动一个工作器，我假设它与我的Kafka集群通信。我还能够运行两个GET命令，例如/和/connector-plugins，它们返回正确的JSON。但是，当我尝试POST命令来创建连接器时，我收到500错误和超时。具体来说，我使用此命令进行POST测试：

curl -X POST -H "Content-Type: application/json" --data '{"name": "local-file-sink", "config": {"connector.class":"FileStreamSinkConnector", "tasks.max":"1", "file":"test.sink.txt", "topics":"myTopic" }}' localhost:8083/connectors

最终我收到了这个回复：

{"error_code": 500, "message": "Request timed out"}

我很遗憾发生了什么事。我的Kafka Connect分布式工作人员的日志显示：

[2016-12-05 14:34:32,436] INFO 0:0:0:0:0:0:0:1 - - [05/Dec/2016:22:34:32 +0000] "GET /connector-plugins HTTP/1.1" 200 315  2 (org.apache.kafka.connect.runtime.rest.RestServer:60)
[2016-12-05 15:05:25,422] INFO 0:0:0:0:0:0:0:1 - - [05/Dec/2016:23:05:25 +0000] "GET /connector-plugins HTTP/1.1" 200 315  3 (org.apache.kafka.connect.runtime.rest.RestServer:60)
[2016-12-05 15:05:28,389] INFO 0:0:0:0:0:0:0:1 - - [05/Dec/2016:23:05:28 +0000] "GET /connector-plugins HTTP/1.1" 200 315  2 (org.apache.kafka.connect.runtime.rest.RestServer:60)
[2016-12-05 15:07:38,644] INFO 0:0:0:0:0:0:0:1 - - [05/Dec/2016:23:06:08 +0000] "GET /connectors HTTP/1.1" 500 48  90003 (org.apache.kafka.connect.runtime.rest.RestServer:60)
[2016-12-05 15:07:44,450] INFO 0:0:0:0:0:0:0:1 - - [05/Dec/2016:23:07:44 +0000] "GET /connector-plugins HTTP/1.1" 200 315  1 (org.apache.kafka.connect.runtime.rest.RestServer:60)
[2016-12-05 15:13:06,703] INFO 0:0:0:0:0:0:0:1 - - [05/Dec/2016:23:11:36 +0000] "POST /connectors HTTP/1.1" 500 48  90003 (org.apache.kafka.connect.runtime.rest.RestServer:60)
[2016-12-05 15:15:38,506] INFO 0:0:0:0:0:0:0:1 - - [05/Dec/2016:23:14:08 +0000] "POST /connectors HTTP/1.1" 500 48  90005 (org.apache.kafka.connect.runtime.rest.RestServer:60)

您可以在其中查看错误代码和命令。

我想我的主要问题是：

如何更好地调试Kafka Connect，以便我可以尝试解决此问题？
有什么我正在做的那是明显错误的吗？
是否有任何关于让Kafka Connect分布式工作器和连接器运行的分步文档或博客文章？我还没有真正看到任何文件甚至最佳实践？也许我对收养者来说太早了。

我期待收到社区的回复，并感谢您的帮助！

Answer 1

我能解决这个问题。我在我的客户端和我的集群上运行Confluent Platform 3.0.1。我将我的集群升级到Confluent Platform 3.1.1，将我的客户端升级到新版本。我能够启动集群。此外，您可以通过阅读Kafka用户组关于同一问题的此主题来了解有关调试Kafka Connect的更多信息：

http://mail-archives.apache.org/mod_mbox/kafka-users/201612.mbox/%3cA22A7CDA-21D5-4E58-BD38-3796065FD6A5@trulia.com%3e

希望能帮助他人。

使用Kafka Connect Distributed创建连接器返回500错误

1 个答案: