我有一个Kafka源,内存通道和HDFS接收器组合。我想要做的是从Kafka Source堆叠4条消息,然后在一次交易中将它们放入HDFS。
agent.sinks.HDFS.hdfs.batchSize = 4
agent.sinks.HDFS.hdfs.path = hdfs://127.0.0.1:54310/flume/events/%y-%m-%d/%H%M/%S
agent.sinks.HDFS.hdfs.fileType = DataStream
agent.sinks.HDFS.hdfs.writeFormat = Text
agent.sinks.HDFS.hdfs.rollCount = 2
agent.sinks.HDFS.hdfs.rollInterval = 0
agent.sinks.HDFS.hdfs.rollSize = 0
我不知道为什么,但如果我每隔10分钟发送一次事件,它应该是40分钟,直到它在HDFS中注册数据,但它在第一次事件之后发生。