kafka connect - 消费者处理非常低的入口率

时间:2018-04-27 22:19:52

标签: apache-kafka apache-kafka-connect

kafka connect适用于消息率非常低的情况。 例如:对于消费者而言,如果输入消息率非常低或没有消息被发送/接收的时段,kafka connect是否可以处理这些情况?任何建议都有帮助。

1 个答案:

答案 0 :(得分:2)

是。我目前正在运行一个连接器,每天最多只能生成10条消息,即使我们已将其配置为转储到每小时分区,我们只会在消息到达时获得1个文件夹。

重要参数是分区旋转(如果使用的是TimeBasedPartitioner)和旋转调度ms - 这会强制连接器定期刷新。

您还可以设置非常低的刷新大小,以使消息更频繁地提交。如果您具有更高的刷新大小,则将缓冲消息,直到提交发生。即使连接实例死亡,它也应该从前一个偏移量恢复,而数据保留在主题