logstash和apache storm / spark流媒体之间的主要区别是什么?

时间:2016-07-11 10:30:35

标签: logstash apache-storm spark-streaming

我正在搜索分布式实时计算系统,该系统将从kafka服务器收集数据,以便处理数据,然后将其存储在ElasticSearch中。我已经选择了其中一些:

  • Apache Storm
  • Apache Spark Streaming
  • 和Logstash(更多描述为ETL(提取,转换,加载))

我已经找到了几个比较Storm和Spark Streaming的教程。但是,我没有找到任何比较logstash与storm和spark流的教程。这对我来说非常困惑,因为我已经熟悉了logstash,但我想确保为我的需要选择合适的工具。

提前谢谢

1 个答案:

答案 0 :(得分:2)

Logstash是一个具有实时功能的数据收集引擎。它支持分析,归档,监控,警报......基于一些预定义的指标。 - > Logstash是一种特定的产品,解决方案 Apache Spark和Storm是非常通用的分布式实时计算系统。 - > Apache Spark / Storm只是用于一般用途的框架/库。