从数据库读取后发送到HDFS之前,用Sqoop处理数据

时间:2018-08-16 10:03:16

标签: aws-lambda hdfs sqoop

我有一个使用Lambda的AWS Lambda,它仅以ctrl + a分隔的文件格式将数据从Postgres DB传输到S3。 现在,在将其发送到HDFS之前,我需要根据从数据库读取的特定列的值添加一个额外的字段。 在Sqoop中可以实现吗?如果是,怎么办?否则,完成此任务的另一种方式。

就像,DB中有一个名为“ app_id”的字段。因此,如果它的值为“ 23”,则需要创建一个名为“ app_name”的新字段,该字段的值为“ Grade A member”,依此类推。

0 个答案:

没有答案