我最近开始使用Scribe,Facebooks解决方案从许多不同的服务器传输和收集日志数据。
我找不到的是Facebook如何存储大量的日志数据(根据2009年每天25TB的报告)。
Facebook是否发布了有关他们如何做的任何信息? Hadoop HDFS?卡桑德拉?
答案 0 :(得分:3)
他们在Hadoop之上使用Hive。 Cassandra用于他们的电子邮件/消息传递,而不是日志记录。一些链接:
https://developers.facebook.com/opensource/
http://highscalability.com/blog/2008/11/24/product-scribe-facebooks-scalable-logging-system.html