Kafka JDBC源连接器

时间:2017-05-13 21:19:57

标签: jdbc apache-kafka

我正在尝试使用JDBC源连接器从SQL Server获取数据。

我收到的错误是

  

错误无法为etc / kafka-connect-jdbc / source-quickstart-sqlserver.properties创建作业

我的属性文件如下所示。我错过了什么?

name=test-sqlserver-jdbc-autoincrement
connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
tasks.max=1
connection.url=jdbc:sqlserver://******:1433;databaseName=****;user=****l;password=****
table.whitelist=****
mode=incrementing
incrementing.column.name=id
topic.prefix=test-sqlserver-jdbc-

此外,如果我尝试使用curl http://localhost:8083 /JdbcSourceConnector/config/validate获取错误详细信息,我会收到错误网址格式错误,我认为这是kafka 10.2.0中的错误

2 个答案:

答案 0 :(得分:1)

如果您在实验环境中,请尝试以下操作。

connection.url=jdbc:mysql://127.0.0.1:3306/my_db
connection.user=user
connection.password=pass
useSSL=false

还要确保递增列名称正确且为auto-increment

答案 1 :(得分:0)

尝试使用以下属性文件。

name=test-mysql-jdbc-autoincrement
connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
tasks.max=1
connection.url=jdbc:mysql://localhost:3306/training?user=admin&password=password@538&useSSL=false

query=select emp.emp_dept_id, emp.timestamp, emp.emp_name, dept.dept_name from kafka_employee emp join kafka_department dept on emp.emp_dept_id = dept.dept_id
mode=timestamp+incrementing

incrementing.column.name=emp_dept_id
timestamp.column.name=timestamp

topic.prefix=test-mysql-jdbc-kp
poll.interval.ms = 1000