如何执行JDBC Kafka Connector jar

时间:2018-05-10 19:31:11

标签: jdbc apache-kafka apache-kafka-connect

我克隆了https://github.com/confluentinc/kafka-connect-jdbc,但我遇到了解如何执行此问题的问题。

1 个答案:

答案 0 :(得分:1)

kafka-connect-jdbc是一个Kafka Connector,用于从任何与JDBC兼容的数据库加载数据。可以找到此连接器的文档here

JDBC Source Connector的最小示例(来自sqlite db)

Download使用confluent start

汇总并启动服务

创建一个sqlite db

sqlite3 test.db

创建一个表并添加一些行:

CREATE TABLE users(id INTEGER PRIMARY KEY AUTOINCREMENT NOT NULL, username VARCHAR(255));
INSERT INTO users(username) VALUES('giorgos');

加载JDBC源连接器:

confluent load jdbc-source

(你的输出应该类似于:)

{
  "name": "jdbc-source",
  "config": {
    "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
    "tasks.max": "1",
    "connection.url": "jdbc:sqlite:test.db",
    "mode": "incrementing",
    "incrementing.column.name": "id",
    "topic.prefix": "test-sqlite-jdbc-",
    "name": "jdbc-source"
  },
  "tasks": [],
  "type": null
}

运行控制台使用者,以便使用主题test-sqlite-jdbc-users中生成的数据:

./bin/kafka-avro-console-consumer --bootstrap-server localhost:9092 --topic test-sqlite-jdbc-users --from-beginning
{"id":1,"name":{"string":"giorgos"}}