目前,AWS Firehose具有默认分区功能,可以使用以下分区格式的文件夹将数据返回到S3:
YYYY / MM / DD / HH => e.g: 2017/10/26/18
但是,我想这样做:
Year=2017/Month=10/Day=26/Hour=18
有没有办法让firehose的默认方式如上所述?
我试图触发一个SNS主题来调用lambda将名称更改为year = yyyy,month = mm等,但问题是firehose需要一些时间来创建这些默认的分区文件夹。所以我不太清楚如何在没有可能的冲突的情况下实现这一点 - 在创建文件夹之前进行lambda调用。
最好是有一种AWS
方式来处理这个问题,这是理想的 - 我还没有找到它。
任何建议都会令人感激。谢谢!
答案 0 :(得分:-1)
使用s3前缀选项作为'year =!{timestamp:YYYY} / month =!{timestamp:MM} / day =!{timestamp:dd} /'作为文件夹,以Year = 2017 / Month = 10表示/天= 26 /小时= 18