要迁移到需要s3存储桶的版本4签名的AWS区域,必须在Flume Agent属性文件中进行哪些更改。以下是我的接收器的当前配置,该配置在支持AWS签名版本2的区域中运行良好。
a1.sinks.k1.type=hdfs
a1.sinks.k1.hdfs.path=s3n://<Access_KEY>:<Secret_Key>@<BUCKET_PATH>
a1.sinks.k1.hdfs.fileType=DataStream
a1.sinks.k1.hdfs.writeFormat=Text
a1.sinks.k1.hdfs.rollInterval=0
a1.sinks.k1.hdfs.rollSize=1048576
a1.sinks.k1.hdfs.rollCount=0
a1.sinks.k1.hdfs.idleTimeout=60