我目前正在读Kafka,试图找到一种方法从我们的应用程序中分离我们的时间序列数据库存储引擎,使其更像是一个通用的独立微服务,而不是我们应用程序的一个组成部分,因为它目前是
我们目前将样本数据(带时间戳)存储在我们内部开发的时间序列数据库中,我们的应用程序使我们能够对我们的行业进行专门的分析。
Kafka似乎非常适合连续地将数据流入其中(也是我们需要的),但是在过去的一段时间内查询数据源,以获得数据结果流,因此具有开始和结束,似乎不是卡夫卡范围的一部分。 也就是说,我找不到在卡夫卡创建它的正确方法。
阅读本文:https://www.confluent.io/blog/hello-world-kafka-connect-kafka-streams/我认为我非常接近我想要的但我无法看到Kafka如何在不同的时间段处理各种记录样本集的各种查询。
我们在很长一段时间内都有大量的样本数据集(3年以上的10000个样本集,每5秒采样率到每1分钟一次),由于我们的存储空间有限,我希望卡夫卡确实提供了更多的瞬态'方式,比存储每个请求的结果数据2天(因为它被设置为默认值),如果我理解正确,每次我们想要进行分析时获取我们的数据。
我是如此接近,但我无法理解如何在Kafka中正确地做到这一点。
非常感谢您的时间。