解析CSV转换

时间:2019-01-23 10:02:44

标签: kettle pentaho-spoon pentaho-data-integration

我有一个SSH步骤,该步骤执行输出CSV的命令。应该解析此CSV以进行进一步处理,但是在Spoon中,我仅找到解析文件中CSV数据的步骤。如何在不首先将SSH步骤的stdOut字段写入CSV的情况下将其解析为CSV?

1 个答案:

答案 0 :(得分:1)

如果您使用的是MAC / Linux或Windows 10 WSL,请先尝试使用AWK,然后再通过Kettle对其进行解析。

它可以很容易地解析CSV。

示例:这样的代码将解析csv过滤行并提取所需的必要列。

$ awk -F ',' '{if($4 == "Online" && $5 =="L") {print $1,$2,$4}}' sales_100.csv

更多信息: https://medium.com/analytics-vidhya/use-awk-to-save-time-and-money-in-data-science-eb4ea0b7523f