PySpark with S3 - 如何添加属性

Question

我们正在对PySpark进行一些EMR计算并将它们输出到s3。 s3调用一个lambda，它将消息添加到SQS，由另一个进程处理。 我们正在寻找一种方法将其他属性传递给s3中存储的文件，因此最终进程可以获取有关正在处理的文件的更多信息。 saveAsTextFile似乎无法在s3对象上存储元数据。 传递该信息的最佳方式是什么。