我了解到Kafka connect可以在集群模式下部署。工作人员在数据源和 kafka 主题之间移动数据。我想知道的是，如果工作人员在数据源之间移动数据到 kafka 主题时失败，会不会有数据丢失？如果有数据丢失，我们如何从连接器取回数据或者 kafka 连接会自动处理它？</p>
答案 0 :(得分：1)
这取决于来源以及它是否支持偏移跟踪。
例如，文件中的行、数据库中具有主 ID/时间戳的行或某些幂等 API 调用可以重复调用并获得相同的起始位置。 （尽管在每种情况下，基础数据也需要不可变才能使其一致地工作）
Kafka Connect SourceTask API has a call to commit 跟踪“偏移量”（不同于 Kafka 主题偏移量）