Kafka Streams中不确定“发送记录错误”的原因

时间:2019-07-16 11:20:05

标签: apache-kafka apache-kafka-streams

在运行Kafka Streams应用程序时,我在日志中看到以下消息,导致线程死亡。

ERROR task [1_14] Error sending record (key {"field":"somevalue","uid":"othervalue"}\x00\x00\x01b\x9Fm\xD4\xFD\x00\x00\x01b\x9F,\x04m value [91, 123, 34, 115, ... 

该值打印在日志的多行中,此处包含8条来自大消息的行,每行64K。但是,我已将经纪人的max.message.bytes限制设置为5M,因此应该接受。

任务重新启动时,也会发生相同的问题,因此此消息似乎起着poison pill的作用。使用其他application.id重新启动是可行的,因此可以丢弃网络问题。 我的经纪人日志中看不到任何问题,除了会员资格失败:

Member app-09987332-a834-4a70-9dde-2970047a5b01-StreamThread-1-consumer-f01836e1-6edf-4b87-b40d-ef0e8baf4d51 in group app has failed, removing it from the group

什么可能导致此问题? 卡夫卡经纪人2.3.0,卡夫卡流2.1.1。

1 个答案:

答案 0 :(得分:0)

此问题归因于消息太大。 AWS中的日志会剪断行,有时会在行编号上产生奇怪的跳跃。