Question

在Apache Nifi中的csv中重新排序列。

输入-我有多个文件，它们具有相同的列，但顺序不同。

输出-刮擦一些列并以相同顺序存储。

Answer 1

您应该能够使用ConvertRecord做到这一点，将CSVRecordReader的模式与输入的列（按顺序）相匹配，并且CSVRecordSetWriter的输出模式将具有包含所选列的模式。所需的输出顺序。我没有尝试过，但是我相信这是有效的。

Answer 2

就我而言，因为我确定这些列将包含在所有CSV文件中，所以我只需要对其重新排序。因此，我使用\\file1 name, age, location, gender Jack, 40, TW, M Lisa, 30, CA, F \\file2 name, location, gender, age Mary, JP, F, 25 Kate, DE, F, 23对csv文件重新排序。

例如，这是我的csv文件：

location,name,gender,age

我想将列重新排序为QueryRecord，我在reorder_data中设置了一个名为SELECT location,name,gender,age FROM FLOWFILE的新属性，其值类似于：

\\file1 - reordered location, name, gender, age TW, Jack, M, 40 CA, Lisa, F, 30 \\file2 - reordered location, name, gender, age JP, Mary, F, 25 DE, Kate, F, 23

然后，流文件中的数据将变为：

QueryRecord

因此，我可以从//Group variable or attribute column_order location,name,gender,age //Property in QueryRecord reorder_data SELECT ${column_order} FROM FLOWFILE获得重新排序的数据输出以及原始数据，这非常方便。

顺便说一句，您也可以使用组变量或属性来设置列顺序以更好地维护：

import json
with open(path_to_your_json_file) as f:
    d = json.load(f)
    for k in d:
        print(k, d[k])

如何在Apache NiFi中重新排列CSV列

2 个答案: