Question

我正在使用Kafka connect: connecting JDBC source using Mysql使用Kafka Connect为Kafka流提供数据，而不是使用Microsoft SQL Server在Virtual Box中的Ubuntu 14虚拟机上使用。

Kafka服务器在虚拟盒中连接到我的具有MSSQL Server实例的工作站，并且两台机器之间的连接正在运行，因为Kafka正在连接并验证MSSQL，但是在自动增量主题上存在Kafka提交问题。

我的Kafka Connect配置如下连接到[xd]数据库并使用id列更改数据捕获data01表。

name=test-mssql-jdbc-autoincrement
connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
tasks.max=1
connection.url=jdbc:sqlserver://127.0.0.1:1433;user=xd;password=xd;databaseName=scratchpad
mode=incrementing
incrementing.column.name=id
topic.prefix=test-mssql-jdbc-
table.whitelist=data01

我的表架构如下： -

CREATE TABLE [xd].[data01](
[id] [bigint] IDENTITY(1,1) NOT NULL,
[name] [varchar](50) NULL,
[surname] [varchar](50) NULL
)

但是我从Kafka那里得到错误，它无法刷新自动增量队列。

[2016-09-09 11:09:07,452] ERROR Failed to flush WorkerSourceTask{id=test-mssql-jdbc-autoincrement-0}, timed out while waiting for producer to flush outstanding 1 messages (org.apache.kafka.connect.runtime.WorkerSourceTask:289)
[2016-09-09 11:09:07,453] ERROR Failed to commit offsets for WorkerSourceTask{id=test-mssql-jdbc-autoincrement-0} (org.apache.kafka.connect.runtime.SourceTaskOffsetCommitter:109)
[2016-09-09 11:10:12,454] ERROR Failed to flush WorkerSourceTask{id=test-mssql-jdbc-autoincrement-0}, timed out while waiting for producer to flush outstanding 1 messages (org.apache.kafka.connect.runtime.WorkerSourceTask:289)
[2016-09-09 11:10:12,455] ERROR Failed to commit offsets for WorkerSourceTask{id=test-mssql-jdbc-autoincrement-0} (org.apache.kafka.connect.runtime.SourceTaskOffsetCommitter:109)

配置Kafka Connect到MSSQL的源数据

0 个答案: