如何将AWS v4签名添加到Apache Flume以将数据转储到s3存储桶中?

时间:2019-03-05 12:49:51

标签: amazon-web-services amazon-s3 flume flume-ng

要迁移到需要s3存储桶的版本4签名的AWS区域,必须在Flume Agent属性文件中进行哪些更改。以下是我的接收器的当前配置,该配置在支持AWS签名版本2的区域中运行良好。

a1.sinks.k1.type=hdfs
a1.sinks.k1.hdfs.path=s3n://<Access_KEY>:<Secret_Key>@<BUCKET_PATH>
a1.sinks.k1.hdfs.fileType=DataStream
a1.sinks.k1.hdfs.writeFormat=Text
a1.sinks.k1.hdfs.rollInterval=0
a1.sinks.k1.hdfs.rollSize=1048576
a1.sinks.k1.hdfs.rollCount=0
a1.sinks.k1.hdfs.idleTimeout=60

0 个答案:

没有答案