我有一个使用Kinesis流中的记录的应用程序。记录是成批接收的,有时我发现一些记录已损坏。 预期的良好记录如下:
分区键:时间戳
数据:有效的json
但是损坏的记录似乎包含两个或多个压缩成一个记录的记录:
分区键:随机字符
数据:非打印字符序列+记录的分区键列表+每个记录的json序列
这种记录不能反序列化。
生产者使用amazon KPL
发送记录。使用者使用spring-cloud-stream-binder-kinesis
实现,该{@ 1}不使用KCL,而仅使用aws-sdk。实施
当某些字节丢失时,这可能是网络问题,但是我注意到当我使用KCL
读取记录时没有这种问题。
有人遇到相同的问题,还是知道在哪里寻找解决方案?