我们正在使用kafka 0.10.2.0并尝试使用HDFS Sink连接器将数据从Kafka推送到HDFS。这只是第一次成功,之后没有更新。此外,Kafka独立连接器日志具有:
integral_constant
以下是其中一个论坛中建议添加的属性。
[2017-09-01 19:20:03,030] INFO WorkerSinkTask{id=hdfs-sinks-0} Committing offsets (org.apache.kafka.connect.runtime.WorkerSinkTask:272)
[2017-09-01 19:20:03,034] WARN Commit of WorkerSinkTask{id=hdfs-sinks-0} offsets timed out (org.apache.kafka.connect.runtime.WorkerSinkTask:172)
连接器配置:
name=hdfs-sinks
connector.class=io.confluent.connect.hdfs.HdfsSinkConnector
tasks.max=1
topics=mysql-author
hdfs.url=hdfs://quickstart.cloudera:8020
flush.size=3
logs.dir=/hdfs_directory/data/log
request.timeout.ms=310000
offset.flush.interval.ms=5000
heartbeat.interval.ms=60000
session.timeout.ms=300000
max.poll.records=100