Flume - HDFS Sink batchSize无法正常工作

时间:2017-07-07 08:15:56

标签: apache-kafka hdfs flume

我有一个Kafka源,内存通道和HDFS接收器组合。我想要做的是从Kafka Source堆叠4条消息,然后在一次交易中将它们放入HDFS。

agent.sinks.HDFS.hdfs.batchSize = 4
agent.sinks.HDFS.hdfs.path = hdfs://127.0.0.1:54310/flume/events/%y-%m-%d/%H%M/%S
agent.sinks.HDFS.hdfs.fileType = DataStream
agent.sinks.HDFS.hdfs.writeFormat = Text
agent.sinks.HDFS.hdfs.rollCount = 2
agent.sinks.HDFS.hdfs.rollInterval = 0
agent.sinks.HDFS.hdfs.rollSize = 0

我不知道为什么,但如果我每隔10分钟发送一次事件,它应该是40分钟,直到它在HDFS中注册数据,但它在第一次事件之后发生。

0 个答案:

没有答案