我已配置启用加密的EMR群集。当我尝试从hive或spark-shell插入数据时,数据在S3中被加密。 但是当我从spark-submit客户端或YARN模式执行此操作时,数据未加密。
我已使用以下设置配置EMR群集:
"fs.s3.enableServerSideEncryption": "true",
"fs.s3.serverSideEncryption.kms.keyId":"axxxxxx-yyyy-xxxx-yyyy-123a45678901"
来自spark-shell的简单saveAsTextFile(s3://)
,我能够看到加密数据,但是当我点火提交应用程序时,我的数据不会加密。
知道这个问题的原因吗?