为什么LinkedIn使用Kafka

时间:2015-11-02 13:34:45

标签: linkedin apache-kafka stream-processing apache-samza

任何人都可以告诉我LinkedIn使用Kafka的具体目的。我从linkedin博客上读了很多关于Kafka的文章。他们解释了他们如何使用Kafka以及他们取得了多少性能优势。

Linkedin是否使用Kafka通知网络中的其他用户您的朋友xxx有新的状态更新。像这样的东西

1 个答案:

答案 0 :(得分:1)

不仅要了解Kafka在LinkedIn上的使用情况,还要了解它的起源和动机,请阅读Jay Krep的The Log: What every software engineer should know about real-time data's unifying abstraction。它很长但值得花时间。

对于特定用例,您可以阅读我基于Kafka和Samza撰写的Call Graph Analysis pipeline。此外,工具团队还写了他们如何将该作业的输出消耗到monitor site performance in near real time