来自Spark / Dataframes的AWS SSE-KMS加密

Question

我已配置启用加密的EMR群集（emrfs-site.xml中的属性） 我使用dataframe savemode.append写入S3n：// my-bucket / path / 保存在s3中。

但是我无法看到加密AWS KMS的对象。 但是，当我从EMR中从hive进行简单插入时，我能够看到加密aws kms的对象。

如何使用sse kms加密S3中数据框中的文件？

Answer 1

问题是我们使用s3a将文件从spark程序保存到EMR。 AWS官方不支持在EMR上使用s3a。虽然我们能够在S3中保存数据，但它并没有加密数据。我尝试使用s3：//和s3n：//加密适用于两者。