我正在使用Kafka connect: connecting JDBC source using Mysql使用Kafka Connect为Kafka流提供数据,而不是使用Microsoft SQL Server在Virtual Box中的Ubuntu 14虚拟机上使用。
Kafka服务器在虚拟盒中连接到我的具有MSSQL Server实例的工作站,并且两台机器之间的连接正在运行,因为Kafka正在连接并验证MSSQL,但是在自动增量主题上存在Kafka提交问题。
我的Kafka Connect配置如下连接到[xd]数据库并使用id列更改数据捕获data01表。
name=test-mssql-jdbc-autoincrement
connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
tasks.max=1
connection.url=jdbc:sqlserver://127.0.0.1:1433;user=xd;password=xd;databaseName=scratchpad
mode=incrementing
incrementing.column.name=id
topic.prefix=test-mssql-jdbc-
table.whitelist=data01
我的表架构如下: -
CREATE TABLE [xd].[data01](
[id] [bigint] IDENTITY(1,1) NOT NULL,
[name] [varchar](50) NULL,
[surname] [varchar](50) NULL
)
但是我从Kafka那里得到错误,它无法刷新自动增量队列。
[2016-09-09 11:09:07,452] ERROR Failed to flush WorkerSourceTask{id=test-mssql-jdbc-autoincrement-0}, timed out while waiting for producer to flush outstanding 1 messages (org.apache.kafka.connect.runtime.WorkerSourceTask:289)
[2016-09-09 11:09:07,453] ERROR Failed to commit offsets for WorkerSourceTask{id=test-mssql-jdbc-autoincrement-0} (org.apache.kafka.connect.runtime.SourceTaskOffsetCommitter:109)
[2016-09-09 11:10:12,454] ERROR Failed to flush WorkerSourceTask{id=test-mssql-jdbc-autoincrement-0}, timed out while waiting for producer to flush outstanding 1 messages (org.apache.kafka.connect.runtime.WorkerSourceTask:289)
[2016-09-09 11:10:12,455] ERROR Failed to commit offsets for WorkerSourceTask{id=test-mssql-jdbc-autoincrement-0} (org.apache.kafka.connect.runtime.SourceTaskOffsetCommitter:109)