我真的想为我的下面的场景获得一个架构解决方案。
我有一个事件来源（在油井中说传感器，大约50000），它会向服务器发出事件。在服务器端，我想以这样的方式处理所有这些事件：来自传感器的关于最新湿度，温度，压力等的信息将被存储/更新到数据库。
我对水槽或卡夫卡很困惑。
有人可以在架构方面解决我的简单场景。
我不想将事件存储在某个地方，因为我已经使用最新值更新了数据库。
我真的需要火花，（水槽/卡夫卡）+火花，以满足加工方面的需求吗？
我们可以使用不带水槽的水槽进行任何处理吗？
答案 0 :(得分：1)
听起来您需要使用Kafka生成器API将事件发布到主题，然后通过使用Kafka使用者API写入数据库或使用Kafka JDBC接收器连接器来读取这些事件。
此外，如果您只需要Kafka内部的最新数据，请查看日志压缩。
答案 1 :(得分：0)
一种方法是将所有消息推送到Kafka主题。使用Spark Stream，您可以从kafka主题中获取和处理。 Spark流可以直接从您的Kafka主题处理