aws firehose到s3桶分区名称,如年= YYYY,月= MM,天= MM,小时= HH

时间:2017-10-27 04:00:23

标签: amazon-s3 partition amazon-kinesis-firehose

目前,AWS Firehose具有默认分区功能,可以使用以下分区格式的文件夹将数据返回到S3: YYYY / MM / DD / HH => e.g: 2017/10/26/18

但是,我想这样做:

Year=2017/Month=10/Day=26/Hour=18

有没有办法让firehose的默认方式如上所述?

我试图触发一个SNS主题来调用lambda将名称更改为year = yyyy,month = mm等,但问题是firehose需要一些时间来创建这些默认的分区文件夹。所以我不太清楚如何在没有可能的冲突的情况下实现这一点 - 在创建文件夹之前进行lambda调用。

最好是有一种AWS方式来处理这个问题,这是理想的 - 我还没有找到它。

任何建议都会令人感激。谢谢!

1 个答案:

答案 0 :(得分:-1)

使用s3前缀选项作为'year =!{timestamp:YYYY} / month =!{timestamp:MM} / day =!{timestamp:dd} /'作为文件夹,以Year = 2017 / Month = 10表示/天= 26 /小时= 18