S3 接收器连接器的配置设置

Question

我是 S3 接收器连接器的新手，我正在尝试为我的项目设置 s3 连接器。 我有几个疑问：

• flush.size 在配置中有什么用？如果我给它一个非常大的数字（2147483647），它会如何工作？
• rotate.interval.ms - 如果我将其值设为 1 小时，这将如何工作？
• rotate.schedule.interval.ms - 如果我使用这个设置，我会得到重复的记录吗？

提前致谢！

Answer 1

flush size 决定了你期望在文件中的记录数量的上限；如果您将其设置得很大，那么您要么会耗尽 Connect 工作人员的内存/磁盘空间，要么最终每个分区或轮换间隔有一个大文件

这两个设置以不同的时间间隔运行，不应结合使用。如果您每小时轮换一次，您应该期望记录（当时的缓冲区大小将小于刷新大小）经常刷新

对于下一个问题，来自文档

<块引用>

设置rotate.schedule.interval.ms 是非确定性的，并且会使恰好一次的保证无效