TimeBasedPartitioner,旋转调度间隔,kafka connect HDFS连接器中的旋转间隔

时间:2018-07-17 07:14:25

标签: apache-kafka kafka-consumer-api apache-kafka-connect confluent

我想每小时刷新一次kafka主题中的所有记录,以下哪个属性可以帮助您,以便一个小时内到达主题的数据在文件或分区中完全可用?

我知道Rotate Schedule Interval在崩溃期间恰好打破了一种语义?这是否意味着当我们使用rotate.schedule.interval.msrotate.interval.ms时,不刷新提交给kafka connect的偏移量就不会刷新所有主题中的数据?

这些属性是否也支持一次语义rotate.interval.ms and TimeBasedpartitioner

谢谢!

0 个答案:

没有答案