Kafka-connect-hdfs:tiny.interval设置之间的微小文件和区别

时间:2017-08-10 01:37:37

标签: hadoop apache-kafka apache-kafka-connect confluent

当我配置hdfs连接器时,我设置了“flush.size=3”和“rotate.interval.ms=5000”,让我感到困惑的是它是否会产生许多琐碎的文件,例如:成千上万文件 ...

files

我不想成为更琐碎的文件,还有其他可能的解决方案吗?

此外,rotate.interval.msrotate.schedule.interval.ms之间有什么区别?

0 个答案:

没有答案