Apache Flink与Twitter Heron?

时间:2016-06-04 22:42:18

标签: twitter apache-storm apache-flink flink-streaming heron

有很多问题比较Flink与Spark Streaming,Flink vs Storm以及Storm vs Heron。

这个问题的根源在于Apache Flink和Twitter Heron都是真正的流处理框架(不是微批处理,如Spark Streaming)。 Storm去年已经退役,他们正在使用Heron(基本上是Storm重做)。

Slim Baltagi在Flink和Flink vs Spark上有很好的演示: https://www.youtube.com/watch?v=G77m6Ou_kFA

Ilya Ganelin对各种流媒体框架的精彩研究: https://www.youtube.com/watch?v=KkjhyBLupvs

关于Flink vs Storm的非常有趣的想法: What is/are the main difference(s) between Flink and Storm?

但我没有看到任何新的Storm / Heron与Apache Flink的比较。

这两个项目都很年轻,都支持使用以前编写的Storm应用程序和许多其他东西。 Flink更适合Hadoop生态系统,Heron更多地融入基于Twitter的生态系统堆栈。

有什么想法吗?

2 个答案:

答案 0 :(得分:2)

referenced article比较Apache Flink和Apache Storm的所有要点也适用于Twitter的Heron。 Heron提供与Storm完全相同的语义和功能。 Heron真的被最好地理解为Storm的重新实现,更符合Twitter的操作要求。

答案 1 :(得分:0)

Heron ,由Twitter开发的流处理引擎,于2018年2月26日捐赠给Apache。 根据Twitter,在所有实验中吞吐量比Storm高10-14倍,同样的延迟比Storm的延迟低5-15倍。

其他提供的吞吐量和延迟

  • 轻松调试(每个任务都在进程级隔离中运行)。
  • 处理尖峰和拥堵(使用背压机制)。
  • 完全向后兼容Storm,这意味着只需要更改pom文件。

https://blog.twitter.com/engineering/en_us/a/2015/flying-faster-with-twitter-heron.html https://apache.github.io/incubator-heron/