我已经安装并设置了Facebook Scribe服务器(https://github.com/facebook/scribe)。 现在我将收集并处理记录的数据到一些存储。 Scribe将数据记录到文件并旋转它们,即
/tmp/scribetest/category/category_0000
/tmp/scribetest/category/category_...
/tmp/scribetest/category/category_current -> /tmp/scribetest/category/category_0000
我的问题是如何从scribe文件中读取数据并将其转储到数据库? 我可以想到几种可能的方法: 1.将category_current以外的category_ *文件复制到另一个文件夹中说
/tmp/dump/category/category_0000
/tmp/dump/category/category_...
然后,逐行读取所有文件并将其插入数据库 2.有一个保持运行的脚本,它在category_current的tail -f中输入输入和管道 我没有尝试过这种方法,但我想知道当category_current改变并指向新文件时会发生什么。尾巴能否继续拿起新线?
基本上,我不确定收集数据的最佳方法是什么,并记住我从抄写日志文件中收集的最新数据。