emrfs是否支持s3 url中的自定义查询参数？

Question

是否可以在s3 url中添加客户查询参数？

我们想为S3对象添加一些自定义元数据，但希望它对EMRFS透明

类似的东西：

S3：//桶名/对象名称的x AMZ-元标记=魔标签

然后在我们的PySpark或hadoop工作中，我们想写：

data.write.csv（ 'S3：//桶名/对象名称的x AMZ-元标记=魔标签？'）

在emrfs上尝试这一点表明它将“object-name？x-amz-meta-tag = magic-tag”视为整个对象名称而不是忽略查询参数。

Answer 1

我不能代表闭源EMRFS，但对于ASF s3连接器，答案是“不”。虽然有趣的提议;也许你应该考虑将其贡献给ASF。当然，这会增加一个新问题：如果现有用户正在创建文件，该怎么办？在他们的名字 - 如何保持兼容性。