Kafka - 消费者全数据刷新

Question

由于许多原因，消费者需要执行完整的数据刷新，这可能是由于数据失败或新的消费者正在登机。

我想知道如果在保留期后删除包含完整数据的初始偏移量后消费者如何执行完整数据刷新？后续偏移2,3,4等仅具有增量变化。没有第一个偏移量，数据将无法完成。

由于

Answer 1

好。这不可以。您需要增加保留时间，以避免首先删除此数据。

但是，如果您有“增量更新”，最好不要将这些更新存储到Kafka中，而是将这些更新应用于日期并存储新版本，即代替A，delta-1-A，delta -2-A存储A1，A2，A3，（A1 = A，A2 = A + delta-1-A等）。此外，您可以将主题cleanup.policy从“保留”更改为“压缩” - 这可确保Kafka永远不会删除最新版本的数据（每个键）。