Kinesis Agent是否可以通过附加模式识别和删除重复的数据？
我有一个Python服务，它将每1小时将新数据记录到日志文件中。新数据将被添加到旧的日志文件中，而不是创建新文件。同时，我设置了Kinesis代理来监视我的日志文件并将数据传输到Kinesis firehose。
工作流程如下： 1.小时0，我的文件数据日志包含数据1，然后Kinesis Agent传输数据。 2.小时1，我的文件数据日志包含数据1 + 2，然后Kinesis agent传输数据。 3.第2小时，我的文件数据日志包含数据1 + 2 + 3，然后Kinesis agent传输数据。
在上面的示例中，Kinesis代理两次发送数据1，两次发送数据2。但是，我只需要一组数据1,2,3。
我的问题是：Kinesis代理如何管理数据的去重复化？
谢谢！