Kafka Connect HDFS Sink Issue

时间:2016-08-19 15:32:41

标签: apache-kafka confluent apache-kafka-connect

我正在尝试使用Kafka-Connect和HDFS Sink Connector来传输数据。独立模式和分布式模式都运行良好,但它只写入HDFS一次(基于flush-size),而不是稍后流式传输。如果我遗漏了一些东西,请帮忙。

Confluent 2.0.0&卡夫卡0.9.0

1 个答案:

答案 0 :(得分:2)

我很久以前就遇到过这个问题。只需检查下面的参数

Connect-hdfs-sink属性

“logs.dir”: “/ hdfs_directory /数据/日志”

“request.timeout.ms”: “310000”

“offset.flush.interval.ms”: “5000”

“heartbeat.interval.ms”: “60000”

“session.timeout.ms”:“300000

“max.poll.records”: “100”