如何通过REST或其他方式将流结果保存到远程数据库中

时间:2019-03-27 07:35:27

标签: apache-kafka apache-kafka-connect

我检查了合流的Kafka流字数和异常检测示例。在这些示例中,结果被写入主题。取而代之的是,我该如何通过REST或任何其他方式轻松快速地将结果保存到远程数据库中。融合平台中是否有任何结构

代码示例: //发送代码,而不是代码

wordCounts.toStream()。to(“ streams-wordcount-output”,Produced.with(stringSerde,longSerde));

1 个答案:

答案 0 :(得分:1)

这里的常用模式是将流处理的结果写入Kafka主题,然后使用Kafka Connect将该主题流式传输到您想要将数据持久存储到的任何位置。 Kafka Connect是Apache Kafka的一部分,并且有许多连接器,包括kafka-connect-jdbc,用于将数据写入数据库或从数据库写入数据。

如果直接从流应用程序写入数据库,则不必要将处理和存储捆绑在一起。如果数据库脱机或无法访问,则您的流处理必须处理该问题。而是将两者解耦,Kafka Connect将处理无法访问的数据库等。