如何正确重启kafka s3 sink连接?

时间:2018-05-10 10:27:03

标签: amazon-s3 apache-kafka apache-kafka-connect confluent

自5月1日起,我开始使用kafka s3接收器连接器(来自汇合包装的捆绑连接器)。它工作正常,直到5月8日。检查状态,它告诉一些aws异常崩溃了这个连接器。这应该不是一个大问题,所以我想恢复它。

我尝试了以下步骤:

  1. 我POST / connectors / s3sink / restart。然后我看到连接器处于RUNNING模式,但任务仍然是FAIL。
  2. 然后我PUT / connectors / s3sink / task / 0 / restart。好的,现在任务处于RUNNING模式。
  3. 然后我拖尾日志,我发现它开始重写旧数据,比如5月3日的数据。它弄乱了旧数据!

    那么,连接重启REST API会重置偏移吗?我以为它会保存偏移,只是从它失败的偏移开始。

    如何正确重启失败的连接器任务?删除那些POD? (使用kubernetes),还是通过REST / task / 0 / restart?我什么时候应该使用/ connectors / s3sink / restart?

0 个答案:

没有答案