Question

我正在尝试将日志文本文件从ftp服务器加载到elastic。

日志文件如下所示：

0:0:21: Processing events from events
0:0:21: Processing croned build types from q_type
0:0:21: Process croned releases from trls
0:0:22: Processing croned regression list from regression
0:0:22: Processing commit loop

在数据来源（十六进制视图，因为其他视图未显示任何内容）中，我看到的数据是这样的：

0x00000090  66  69  65  6C  64  3A  20  52  4E  20  53  74  61  74  75  73  field: RN Status
0x000000A0  2E  20  4F  62  6A  65  63  74  20  72  65  66  65  72  65  6E  . Object referen
0x000000B0  63  65  20  6E  6F  74  20  73  65  74  20  74  6F  20  61  6E  ce not set to an
0x000000C0  20  69  6E  73  74  61  6E  63  65  20  6F  66  20  61  6E  20  instance of an
0x000000D0  6F  62  6A  65  63  74  2E  0D  0A  30  3A  30  3A  31  34  3A  object...0:0:14:
0x000000E0  20  43  61  6E  27  74  20  72  65  61  64  20  69  73  73  75  Can't read issu
0x000000F0  65  3A  20  41  49  2D  32  34  37  20  63  75  73  74  6F  6D  e: AI-247 custom
0x00000100  20  66  69  65  6C  64  3A  20  52  4E  20  53  65  63  74  69  field: RN Secti
0x00000110  6F  6E  2E  20  4F  62  6A  65  63  74  20  72  65  66  65  72  on. Object refer
0x00000120  65  6E  63  65  20  6E  6F  74  20  73  65  74  20  74  6F  20  ence not set to
0x00000130  61  6E  20  69  6E  73  74  61  6E  63  65  20  6F  66  20  61  an instance of a
0x00000140  6E  20  6F  62  6A  65  63  74  2E  0D  0A  30  3A  30  3A  31  n object...0:0:1
0x00000150  34  3A  20  43  61  6E  27  74  20  72  65  61  64  20  69  73  4: Can't read is
0x00000160  73  75  65  3A  20  41  49  2D  32  34  37  20  63  75  73  74  sue: AI-247 cust
0x00000170  6F  6D  20  66  69  65  6C  64  3A  20  52  4E  20  44  6F  63  om field: RN Doc
0x00000180  20  69  6E  20  56  65  72  2E  20  4F  62  6A  65  63  74  20  in Ver. Object
0x00000190  72  65  66  65  72  65  6E  63  65  20  6E  6F  74  20  73  65  reference not se
0x000001A0  74  20  74  6F  20  61  6E  20  69  6E  73  74  61  6E  63  65  t to an instance
0x000001B0  20  6F  66  20  61  6E  20  6F  62  6A  65  63  74  2E  0D  0A  of an object...
0x000001C0  30  3A  30  3A  31  34  3A  20  43  61  6E  27  74  20  72  65  0:0:14: Can't re
0x000001D0  61  64  20  69  73  73  75  65  3A  20  41  49  2D  32  34  37  ad issue: AI-247

我可以使用“ getftp”处理器获取文件，但是如何将其转换为json，以便可以将其发送给Elastic？

我是nifi的新手，希望我不会缺少一些基本知识，任何帮助将不胜感激。

谢谢

Answer 1

您可以将ConvertRecord处理器与CSVReader用作输入（配置为使用:作为定界符），并将JsonRecordSetWriter用作输出。

NiFi可以自动推断模式，但是由于它似乎没有显示输入数据的标题行，因此这可能无济于事。在这种情况下，您可以使用Schema Registry来保存两种模式-一种用于传入的日志行，指示应该调用每个字段的内容和数据类型，一种用于JSON输出。布赖恩·本德（Bryan Bende）撰写了a great article关于此过程的信息。

nifi将文本文件转换为json

1 个答案: