如何使用Pentaho Kettle在一个字段中导入文本文件中的内容/数据？

Question

我想解析非结构化文本文件中存在的数据。 但在此之前，我希望该文本文件中的所有内容将其存储到一个字段中。这样，我就能够通过从字段中检索来解析数据。

我打算使用 Javascript修改值进行解析。

注意：
我正在谈论的文件不是普通文本或CSV文件。它是从 Tandem Server 收到的直接文件 例如:(文本文件中的内容）
＆＃39; | 08-JUL-16 | 1 | 5996 | W2266001 | BODHAN ROADNIZAMABAD | FNFA | 5211080013438979 | ***************** | 0220 | 01 | 7 | 07-Jul-16 | 08-Jul-16 | 23:14 ：23 | 1043 | 000 | 00 | 541100 | 30000 | 0000 | PRO1 | FNFA | 00000403362 | 356 | 356 | 0 | NIZ-220 |尼扎马巴德| TS | IN || 08-JUL-16 | 1 | ＆＃39;

Answer 1

您可以使用“在内存中加载文件内容”步骤。

它完全符合您的要求，无需解析即可将文件读取到每个文件的单个字段中。您可以手动输入字段数据，而不是指定分隔符。 选择“文件内容”作为元素，选择“字符串”作为类型。

我已经看到了你的另一个问题。如果您的文件大小为1.7 GB，则可能无法在没有内存问题的情况下加载到单行中。

我测试使用：

1. 如上所述将文件加载到内存
2. 使用“\ | DR \ |”将字段拆分为行作为正则表达式分隔符
3. 选择值，摆脱原始的巨大字段
4. 使用分隔符“|”拆分字段到一个字符串字段列表（最多可以记录你的记录）。

这提供了一些可用的记录，但您可能需要进行更多处理以识别某些记录中的缺失列并将其理顺。