我正在尝试使用Kafka-Connect和HDFS Sink Connector来传输数据。独立模式和分布式模式都运行良好,但它只写入HDFS一次(基于flush-size),而不是稍后流式传输。如果我遗漏了一些东西,请帮忙。
Confluent 2.0.0&卡夫卡0.9.0
答案 0 :(得分:2)
我很久以前就遇到过这个问题。只需检查下面的参数
Connect-hdfs-sink属性
“logs.dir”: “/ hdfs_directory /数据/日志”
“request.timeout.ms”: “310000”
“offset.flush.interval.ms”: “5000”
“heartbeat.interval.ms”: “60000”
“session.timeout.ms”:“300000
“max.poll.records”: “100”