在ftp上对文件进行流处理

时间:2019-06-03 23:00:45

标签: apache-kafka kafka-consumer-api apache-kafka-streams

在其中一个应用程序中,我们的客户端收到文件中的多个事件,这些事件已上传到ftp服务器上。这些文件的频率将以分钟为单位。这些事件需要单独处理。

处理这些事件的一种方法是将它们推送到kafka,然后使用kafka流/消费者一个接一个地处理它们。这是正确的方法,还是我们应该考虑一些诸如火花的批处理过程?在最坏的情况下,我们预计每分钟不会超过10K的消息。

谢谢

0 个答案:

没有答案