初始更新后Kafka连接器(HDFS SINK)无法正常工作

时间:2017-09-01 14:38:18

标签: hadoop apache-kafka hdfs apache-kafka-connect

我们正在使用kafka 0.10.2.0并尝试使用HDFS Sink连接器将数据从Kafka推送到HDFS。这只是第一次成功,之后没有更新。此外,Kafka独立连接器日志具有:

integral_constant

以下是其中一个论坛中建议添加的属性。

[2017-09-01 19:20:03,030] INFO WorkerSinkTask{id=hdfs-sinks-0} Committing offsets (org.apache.kafka.connect.runtime.WorkerSinkTask:272)
[2017-09-01 19:20:03,034] WARN Commit of WorkerSinkTask{id=hdfs-sinks-0} offsets timed out (org.apache.kafka.connect.runtime.WorkerSinkTask:172)

连接器配置:

name=hdfs-sinks 
connector.class=io.confluent.connect.hdfs.HdfsSinkConnector 
tasks.max=1 
topics=mysql-author 
hdfs.url=hdfs://quickstart.cloudera:8020 
flush.size=3 
logs.dir=/hdfs_directory/data/log 
request.timeout.ms=310000 
offset.flush.interval.ms=5000 
heartbeat.interval.ms=60000 
session.timeout.ms=300000 
max.poll.records=100 

0 个答案:

没有答案