如何解析Flume中的数据

Question

我正在尝试解析Flume / Kafka的数据。我已将Flume.conf文件配置为指向Kafka。我能够将一个数据文件从Flume传递给Kafka。我想知道如何解析数据以从Flume或Kafka中的数据文件中提取少量字段。有什么建议吗？感谢

Answer 1

我猜您可以创建自己的自定义Flume Interceptor，以便保留原始文件中的字段子集。 Flume拦截器是在源创建Flume事件之后，在它被放入通道之前立即运行（当配置时）的一段代码;即它“拦截”事件并对其进行一些修改（在标题中，在体内），然后将其有效地放入频道。

创建后，配置其用法非常简单：

myagent.sources.mysource.interceptors = myinterceptor
myagent.sources.mysource.interceptors.myintercetor.type = FQCN_of_your_interceptor_class
myagent.sources.mysource.interceptors.myintercetor.specific_parameter_1 = whatever
myagent.sources.mysource.interceptors.myintercetor.specific_parameter_2 = whatever

拦截器类实现org.apache.flume.interceptor.Interceptor interface。