Flume - 如何定期读取日志或达到某个大小时

Question

我想知道，如果可以将Flume配置为定期读取日志或者日志达到一定大小而如何？提前致谢

Answer 1

  

Flume定期读取日志的时间间隔   或当日志达到一定大小时如何？

代理商将继续运行这是水槽的特征。因此，在任何间隔日志或消息即将到来......水槽能够捕获那些。

如果要检查传入消息或日志的大小，则必须编写FlumeSource，即（public class FlumeSource extends AbstractSource implements Configurable, EventDrivenSource），这将捕获源上的日志并打印大小。 你可以用

LOG.info("Processing message...with size = " + FileUtils.byteCountToDisplaySize(bytes.length));

其中FileUtils是apache commons class＆amp; byteCountToDisplaySize用于显示人类可读的方式。

要将事件日志序列化为hbase，您可以使用AsyncHbase api编写自定义序列化程序。