Facebook如何存储日志数据?

时间:2011-04-29 12:23:34

标签: facebook logging storage

我最近开始使用Scribe,Facebooks解决方案从许多不同的服务器传输和收集日志数据。

我找不到的是Facebook如何存储大量的日志数据(根据2009年每天25TB的报告)。

Facebook是否发布了有关他们如何做的任何信息? Hadoop HDFS?卡桑德拉?

1 个答案:

答案 0 :(得分:3)

他们在Hadoop之上使用Hive。 Cassandra用于他们的电子邮件/消息传递,而不是日志记录。一些链接:

https://developers.facebook.com/opensource/

http://highscalability.com/blog/2008/11/24/product-scribe-facebooks-scalable-logging-system.html

http://wiki.apache.org/hadoop/Hive