Apache NIFI:从数据流内容拆分并转换为Json属性

时间:2016-09-08 19:38:12

标签: apache-nifi

我从Apache Kafka获得了以下流文件内容,我的目标是将这些数据拆分为不同的属性。

e.g。 日期 距离 等

然后转换这个属性Json(我知道哪个处理器,我需要它)

但我不知道,我需要哪种Nifi处理器来实现分割功能以及配置应该如何?

示例内容

2016-09-08 16:40:32.215 | 39 | 11 | Jamie Engesser | 1594289134 |孟菲斯小石城2号公路|普通| 40.76 | -88.77 | 1000  取消

1 个答案:

答案 0 :(得分:3)

如果每个输入流文件都是单行记录,您可以使用如下流程:

  1. ExtractText - 将单个文本记录提取到属性中。这可能就像使用默认行设置使用正则表达式(.*)添加自定义属性“line”一样简单。
  2. UpdateAttribute - 将行外的各个字段解析为单独的属性。 NiFi表达式语言中的getDelimitedField函数在这里很有用。例如,${line:getDelimitedField(1, "|")}获取路线“{Memphis to Little Rock Route 2”的日期${line:getDelimitedField(6, "|")}