收集和处理Facebook scribe服务器记录的数据

时间:2012-03-06 09:28:22

标签: database unix logging tail facebook-scribe

我已经安装并设置了Facebook Scribe服务器(https://github.com/facebook/scribe)。 现在我将收集并处理记录的数据到一些存储。 Scribe将数据记录到文件并旋转它们,即

/tmp/scribetest/category/category_0000
/tmp/scribetest/category/category_...
/tmp/scribetest/category/category_current -> /tmp/scribetest/category/category_0000

我的问题是如何从scribe文件中读取数据并将其转储到数据库? 我可以想到几种可能的方法: 1.将category_current以外的category_ *文件复制到另一个文件夹中说

/tmp/dump/category/category_0000
/tmp/dump/category/category_...

然后,逐行读取所有文件并将其插入数据库 2.有一个保持运行的脚本,它在category_current的tail -f中输入输入和管道 我没有尝试过这种方法,但我想知道当category_current改变并指向新文件时会发生什么。尾巴能否继续拿起新线?

基本上,我不确定收集数据的最佳方法是什么,并记住我从抄写日志文件中收集的最新数据。

0 个答案:

没有答案