Kinesis消费者应用程序收到破记录

时间:2018-08-01 08:07:54

标签: amazon-kinesis spring-cloud-aws spring-integration-aws

我有一个使用Kinesis流中的记录的应用程序。记录是成批接收的,有时我发现一些记录已损坏。 预期的良好记录如下:

  

分区键:时间戳
  数据:有效的json

但是损坏的记录似乎包含两个或多个压缩成一个记录的记录:

  

分区键:随机字符
  数据:非打印字符序列+记录的分区键列表+每个记录的json序列

这种记录不能反序列化。

生产者使用amazon KPL发送记录。使用者使用spring-cloud-stream-binder-kinesis实现,该{@ 1}不使用KCL,而仅使用aws-sdk。实施

当某些字节丢失时,这可能是网络问题,但是我注意到当我使用KCL读取记录时没有这种问题。

有人遇到相同的问题,还是知道在哪里寻找解决方案?

0 个答案:

没有答案