Kafka Connect访问两个接收器(ftp和sql)

时间:2017-05-30 15:17:24

标签: ftp apache-kafka message-queue messaging apache-kafka-connect

我需要使用kafka connect sink将文件数据发送到ftp服务器,在服务器收到整个文件后,我还必须发出确认以更改db中这些任务的状态。

我想知道最好的方法是什么,我最初考虑创建自定义ftp kafka连接,这也将改变任务db状态。 这是最好的方式,还是有其他选择?

1 个答案:

答案 0 :(得分:0)

需要更新任务数据库中的状态的要求是什么?

在我的脑海中,您可以编写一个自定义应用程序来跟踪FTP接收器与可用消息的偏移量,并根据需要更新数据库。

值得注意的是https://www.confluent.io/product/control-center/可以跟踪Kafka Connect管道中的消息传递,并提醒延迟。