每次将新文件添加到目录时，如何触发Kafka Producer？

Question

我有一个Kafka流式传输器（scala中），它从目录中的所有文件中提取数据，并将其内容发布到主题中。然后由消费者处理该内容。

现在我通过shell手动执行生产者和消费者（都在scala中），但是我怎样才能触发Kafka生产者和消费者每次将文件添加到生产者检索文件的目录时自动执行从？ 任何帮助将不胜感激！

Answer 1

您可能最好使用Kafka Connect API，它是Apache Kafka的一部分。 kafka-connect-spooldir是一个连接器，它将监视文件夹并将任何新文件摄取到Kafka主题中，然后您可以根据需要对其进行进一步处理。