使用Informatica BDM在Amazon s3中创建文件夹模式

时间:2018-11-14 19:57:48

标签: amazon-s3 informatica

我们正在实施数据湖。为了加载s3登陆层存储桶,我们使用了sqoop作业,该任务将数据加载到S3登陆层存储桶中。从Amazon s3登陆层存储桶中,我们使用Informatica Developer工具提取文件/对象并将其加载到经过清理的层中s3存储桶路径-s3://amazon.s3.bucket/YYYYMM/File1.txt(我们为每个月的负载维护一个路径)。因此,对于每个月的负载,我们将在s3桶清理层中创建类似文件夹的结构。通过Informatica开发人员工具,我想使用参数文件动态传递文件的s3存储桶路径和文件名,以便对s3进行读写操作,并且通过这种方式,如果路径在Amazon s3中自动创建文件路径在Amazon s3中不存在。我想知道如何动态传递细节。

对于在Informatica Developer工具中实现此实现的任何想法,将不胜感激。

谢谢, 维杰

0 个答案:

没有答案