Kiba-etl Mutliple Transformation-Multiple Destination

时间:2016-11-17 06:28:21

标签: csv amazon-s3 rubygems etl kiba-etl

我正在尝试进行多重转换,将其分配到多个目的地。 例如:

orginal.csv: 
title 
movies1
movies2
movies3
movies4

添加到.themoviedb并将其转换为此

better_movies.csv:
title
movies1=9
movies2=5.5
movies3=7
movies4=8

我想再次转换并将此文件推送到s3     rated_movies.csv:     movies1 = 9     电影= 8

这应该是输出 我怎么能这样做,然后把它推到我的s3文件夹?

1 个答案:

答案 0 :(得分:1)

根据你的问题标题,你不清楚你要求的是什么,你能否澄清一下?

如果我们想象您有一个由您的变换转换的源文件(CSV),然后写为目标文件(CSV再次),您希望将其发送到S3,一种方法是使用FileInputStream块在目标文件准备就绪后对其进行操作。

大概会给出:

post_process

当然还有许多其他可能性,例如在第一个目的地下面添加新目的地。

希望这有帮助!