Kafka Confluent S3 Connector"找不到课程"

时间:2017-04-05 05:37:51

标签: amazon-s3 apache-kafka apache-kafka-connect confluent

我正在尝试一个简单的快速启动示例,我得到了:

  

引起:org.apache.kafka.connect.errors.ConnectException:失败   找到任何实现Connector的类以及哪个名称匹配   io.confluent.connect.s3.S3SinkConnector,可用的连接器是:   io.confluent.connect.jdbc.JdbcSinkConnector,   io.confluent.connect.jdbc.JdbcSourceConnector,   org.apache.kafka.connect.tools.MockSinkConnector,   org.apache.kafka.connect.file.FileStreamSourceConnector,   org.apache.kafka.connect.sink.SinkConnector,   io.confluent.connect.elasticsearch.ElasticsearchSinkConnector,   org.apache.kafka.connect.tools.MockConnector,   io.confluent.connect.hdfs.HdfsSinkConnector,   org.apache.kafka.connect.file.FileStreamSinkConnector,   org.apache.kafka.connect.tools.VerifiableSourceConnector,   org.apache.kafka.connect.tools.VerifiableSinkConnector,   org.apache.kafka.connect.tools.SchemaSourceConnector,   org.apache.kafka.connect.source.SourceConnector,   org.apache.kafka.connect.tools.MockSourceConnector,   io.confluent.connect.hdfs.tools.SchemaSourceConnector

这是一款全新的VM,运行最新的Confluent Platform 3.2.0,通过Debian apt软件包安装。我可以看到它肯定在运行CP 3.2.0。为什么S3连接器类不可用?

不确定这是否相关,但如果我这样做:

ls -l /etc/ | grep kafka
drwxr-xr-x 2 root root           4096 Apr  5 04:41 kafka
drwxr-xr-x 2 root root           4096 Apr  5 04:39 kafka-connect-elasticsearch
drwxr-xr-x 2 root root           4096 Apr  5 04:39 kafka-connect-hdfs
drwxr-xr-x 2 root root           4096 Apr  5 04:39 kafka-connect-jdbc
drwxr-xr-x 2 root root           4096 Apr  5 04:39 kafka-rest

文档引用了kafka-connect-s3目录,该目录在安装中显然不存在。

我使用Confluent Platform的开源变体,但根据https://www.confluent.io/product/compare/,开源版本包括Confluent Amazon S3 Connect连接器。

2 个答案:

答案 0 :(得分:1)

作为解决方法,您可以从http://confluent.io

下载zip或tar版本

从那里,您将在kafka-connect-s3etc目录中找到share/java

答案 1 :(得分:1)

这是3.2.0中的包装错误,并在最新的Confluent版本中修复,该版本截至今天(2017年5月17日)为3.2.1

3.2.1版本中的S3 Connector也有一个错误修复,所以最好还是使用该版本。