Akka Stream vs Spark Stream

时间:2016-07-06 16:53:24

标签: apache-spark akka-stream

使用akka stream vs spark stream进行流处理有什么优势/劣势?比如,内置背压,性能,容错,内置转换,灵活性等。我不是要求akka vs spark pros / cons严格的流媒体组件。另外,我并不是要求引擎框架架构的差异。

1 个答案:

答案 0 :(得分:14)

Akka Streams和Spark流来自两个不同的土地。不要让 “stream” 这个词混淆你。

Akka流实现了一种称为反应式清单的功能,它可以很好地实现真正的低延迟,并且可以让很多运营商轻松地在流上编写声明性转换。有关详情,请参阅https://doc.akka.io/docs/akka/2.5.4/scala/stream/stream-introduction.html#motivation

Spark Streaming又名结构化流媒体从2.2开始仍然是一种处理大量数据(大数据)的微批处理方法。收集事件,然后每隔几秒钟小批量地定期处理。

Akka流基本上不是分布式的,不会跨群集扩展,不像Spark.Akka流使用Akka的actor模型来实现并发。

Akka streams是一个工具包,Spark是一个框架。 PS:即使我几个月前也有同样的问题。花了一段时间才得到我的答案。希望它有所帮助。