使用akka stream vs spark stream进行流处理有什么优势/劣势?比如,内置背压,性能,容错,内置转换,灵活性等。我不是要求akka vs spark pros / cons严格的流媒体组件。另外,我并不是要求引擎框架架构的差异。
答案 0 :(得分:14)
Akka Streams和Spark流来自两个不同的土地。不要让 “stream” 这个词混淆你。
Akka流实现了一种称为反应式清单的功能,它可以很好地实现真正的低延迟,并且可以让很多运营商轻松地在流上编写声明性转换。有关详情,请参阅https://doc.akka.io/docs/akka/2.5.4/scala/stream/stream-introduction.html#motivation。
Spark Streaming又名结构化流媒体从2.2开始仍然是一种处理大量数据(大数据)的微批处理方法。收集事件,然后每隔几秒钟小批量地定期处理。
Akka流基本上不是分布式的,不会跨群集扩展,不像Spark.Akka流使用Akka的actor模型来实现并发。
Akka streams是一个工具包,Spark是一个框架。 PS:即使我几个月前也有同样的问题。花了一段时间才得到我的答案。希望它有所帮助。