Flume的hbase()接收器的理想日志格式是什么?

时间:2012-03-28 05:58:11

标签: hbase flume

我使用的日志格式是JSON,它有15个键值对:

{"k1":"v1","k2":"v2","k3":"v3","k4":"v4","k5":"v5","k6":"v6","k7":"v7","k8":"v8","k9":"v9","k10":"v10","k11":"v11","k12":"v12","k13":"v13","k14":"v14","k15":"v15"}

以下配置用于Flume收集器节点解析日志并存储到HBase:

* Source
collectorSource(35853)

* Sink
regexAll("\\{\"([^\"]*)\":\"([^\"]*)\",\"([^\"]*)\":\"([^\"]*)\",\"([^\"]*)\":\"([^\"]*)\",\"([^\"]*)\":\"([^\"]*)\",\"([^\"]*)\":\"([^\"]*)\",\"([^\"]*)\":\"([^\"]*)\",\"([^\"]*)\":\"([^\"]*)\",\"([^\"]*)\":\"([^\"]*)\",\"([^\"]*)\":\"([^\"]*)\",\"([^\"]*)\":\"([^\"]*)\",\"([^\"]*)\":\"([^\"]*)\",\"([^\"]*)\":\"([^\"]*)\",\"([^\"]*)\":\"([^\"]*)\",\"([^\"]*)\":\"([^\"]*)\",\"([^\"]*)\":\"([^\"]*)\"\\}", "k1", "v1", "k2", "v2", "k3", "v3", "k4", "v4", "k5", "v5", "k6", "v6", "k7", "v7", "k8", "v8", "k9", "v9", "k10", "v10", "k11", "v11", "k12", "v12", "k13", "v13", "k14", "v14", "k15", "v15")
hbase("accesslog", "%{nanos}", "colfam", "%{k1}", "%{v1}", "colfam", "%{k2}", "%{v2}", "colfam", "%{k3}", "%{v3}", "colfam", "%{k4}", "%{v4}", "colfam", "%{k5}", "%{v5}", "colfam", "%{k6}", "%{v6}", "colfam", "%{k7}", "%{v7}", "colfam", "%{k8}", "%{v8}", "colfam", "%{k9}", "%{v9}", "colfam", "%{k10}", "%{v10}", "colfam", "%{k11}", "%{v11}", "colfam", "%{k12}", "%{v12}", "colfam", "%{k13}", "%{v13}", "colfam", "%{k14}", "%{v14}", "colfam", "%{k15}", "%{v15}")

我认为有更好的方法可以有效地将这些键值样式日志存储到HBase。

您为HBase接收器选择的日志格式是什么?

将接收器从hbase()更改为attr2hbase()是我要做的,但在此之前,我想获得更高效的原始日志格式的建议,以及{{{ 1}}和hbase()下沉。

0 个答案:

没有答案