使用Informatica BDM将文件写入Amazon S3

时间:2018-12-17 16:00:01

标签: amazon-s3 informatica informatica-cloud

场景: 我是AWS和Informatica Developer的新手。 我正在使用Informatica Developer从Amazon S3中读取文件,并对特定列上的数据进行屏蔽。我将文件中的每个记录读为单个字符串(将记录读入单个端口)。因此,我将标头记录和所有其他数据记录分开。分离之后,我将完成数据记录中特定列的数据屏蔽,然后执行Header记录和Data记录的联合,以将其写回到Amazon S3中。我正在使用Spark Engine运行映射。

问题: 我现在面临的问题是,使用Informatica Developer将数据读写回Amazon S3时。即使我在映射中合并标头和数据记录,标头和数据也会被拆分并写入两个不同的文件中。我正在做的工作是将文件写入Unix并将其移动到Amazon S3。我知道没有API,就无法直接在Amazon S3中配置Concat文件。

因此,我希望将其作为单个文件获得。有没有人面对这个问题。 您能为解决该问题提供任何建议吗?

0 个答案:

没有答案