Kafka + Flume或Kafka + Storm / Spark流媒体

Question

到目前为止，我的架构包括用于数据预处理的Storm / Spark流，但我在某处读到了Flume与Kafka的集成有很多好处。我正在实时传输5个来源，包括传感器，视频，结构化，远程信息处理和社交媒体数据。

有人能让我知道为什么要一起使用卡夫卡和水槽吗？

Answer 1

关于Flume

• 您可以使用水槽来确保您的信息可以轻松收集（当您收集元数据以供进一步使用时不会丢失）

关于Kafka（Kafka introduction）

• 你可以使用kafka来确保你的信息正确，并且易于消费（当你想要计算时不会丢失或复制）

摘要

事实上，flume是为数据收集器创建的，Kafka是为存储而创建的，并且作为调度程序使用数据.Kafka是消息队列，就像redis一样。

当然，如果你愿意，你可以在没有卡夫卡的情况下单独使用Flume。