卡夫卡到Flink邮件处理问题

时间:2019-05-28 03:27:29

标签: apache-kafka apache-flink flink-streaming

我们有kafka-> flink-> MongoDB实时消息流应用程序。
当我们发送少量消息(10-100条)时,一切正常。
但是当我们发送1000条消息时,flink处理端的行为非常奇怪。
1. flink一侧的业务方法由多个线程同时执行,从而导致错误行为。
2.如果任何邮件处理失败,则将重新发送最后几条成功处理的邮件,从而导致重复使用邮件。

这是我的kafka,flink配置:-
卡夫卡
融合的Kafka,一个主题有8个分区。
链接集群
一名工作经理和两名任务经理。
两个任务管理器都有8个核心CPU。
flink-conf.yaml:

taskmanager.numberOfTaskSlots: 8  
parallelism.default: 8 

链接工作详细信息
将FlinkKafkaConsumer011属性设置为: prop.put(“ enable.auto.commit”,“ true”)
CheckpointMode:恰好一次
Flink从Parallelism 8开始: flink run -p 8

0 个答案:

没有答案