标签: apache-kafka kafka-consumer-api apache-kafka-streams apache-kafka-connect kafka-producer-api
我正试图从文件的字符串输入中提取文件,我的流连接器全天运行,但是面临以下问题,
1,该文件具有超过20k条记录(2万行),当识别到新文件时,连接器将消息最多发布10k,然后进入空闲状态。连接器是否有任何限制/配置来限制数据?正在从主题(在source.properties中配置)控制台使用者检查此计数。 (工作开始后,我看到了另一个窗口,用于与diff消费者组一起使用消息)。
我们非常感谢您的帮助。