在运行Kafka Streams应用程序时,我在日志中看到以下消息,导致线程死亡。
ERROR task [1_14] Error sending record (key {"field":"somevalue","uid":"othervalue"}\x00\x00\x01b\x9Fm\xD4\xFD\x00\x00\x01b\x9F,\x04m value [91, 123, 34, 115, ...
该值打印在日志的多行中,此处包含8条来自大消息的行,每行64K。但是,我已将经纪人的max.message.bytes
限制设置为5M,因此应该接受。
任务重新启动时,也会发生相同的问题,因此此消息似乎起着poison pill
的作用。使用其他application.id
重新启动是可行的,因此可以丢弃网络问题。
我的经纪人日志中看不到任何问题,除了会员资格失败:
Member app-09987332-a834-4a70-9dde-2970047a5b01-StreamThread-1-consumer-f01836e1-6edf-4b87-b40d-ef0e8baf4d51 in group app has failed, removing it from the group
什么可能导致此问题? 卡夫卡经纪人2.3.0,卡夫卡流2.1.1。
答案 0 :(得分:0)
此问题归因于消息太大。 AWS中的日志会剪断行,有时会在行编号上产生奇怪的跳跃。