kafka文件流有限制

时间:2020-05-14 13:30:01

标签: apache-kafka kafka-consumer-api apache-kafka-streams apache-kafka-connect kafka-producer-api

我正试图从文件的字符串输入中提取文件,我的流连接器全天运行,但是面临以下问题,

1,该文件具有超过20k条记录(2万行),当识别到新文件时,连接器将消息最多发布10k,然后进入空闲状态。连接器是否有任何限制/配置来限制数据?正在从主题(在source.properties中配置)控制台使用者检查此计数。 (工作开始后,我看到了另一个窗口,用于与diff消费者组一起使用消息)。

  1. 我的文件连接器一直保持运行状态,文件(abc.txt)数据发布到该主题,并尝试替换新文件(从某个位置删除当前文件,并使用diff数据集放置相同的文件名) ,正在运行的作业出现异常,但是当我将新数据集附加到现有文件时,它运行良好。这是一种例外行为吗?

我们非常感谢您的帮助。

0 个答案:

没有答案