Firehose-S3前缀上的JSON属性

时间:2018-08-23 14:13:28

标签: amazon-kinesis amazon-kinesis-firehose

我正在设置一个Firehose,它将JSON消息传递到存储桶S3。设置非常简单并且可以正常工作,但是我想在S3上添加一个前缀,例如<event>/YYYY/MM/DD/HH

我正在阅读文档,但没有找到从json获取属性值并将其用于前缀的方法。我想使用自定义前缀来拆分事件类型。

可以做到吗?

1 个答案:

答案 0 :(得分:1)

每个传送流都可以配置为只有一个前缀(https://docs.aws.amazon.com/firehose/latest/dev/basic-deliver.html#s3-object-name):

"S3Configuration": { 
     "BucketARN": "string",
     "BufferingHints": { 
        "IntervalInSeconds": number,
        "SizeInMBs": number
     },
     "CloudWatchLoggingOptions": { 
        "Enabled": boolean,
        "LogGroupName": "string",
        "LogStreamName": "string"
     },
     "CompressionFormat": "string",
     "EncryptionConfiguration": { 
        "KMSEncryptionConfig": { 
           "AWSKMSKeyARN": "string"
        },
        "NoEncryptionConfig": "string"
     },
     "Prefix": "string",
     "RoleARN": "string"
  }

一种可能的解决方法是在应用程序代码中过滤事件,并将其发送到正确的传递流。