S3加密无法使用spark-submit命令

时间:2017-02-06 07:55:27

标签: amazon-web-services apache-spark amazon-s3 apache-spark-sql spark-dataframe

我已配置启用加密的EMR群集。当我尝试从hive或spark-shell插入数据时,数据在S3中被加密。 但是当我从spark-submit客户端或YARN模式执行此操作时,数据未加密。

我已使用以下设置配置EMR群集:

"fs.s3.enableServerSideEncryption": "true", 
"fs.s3.serverSideEncryption.kms.keyId":"axxxxxx-yyyy-xxxx-yyyy-123a45678901"

来自spark-shell的简单saveAsTextFile(s3://),我能够看到加密数据,但是当我点火提交应用程序时,我的数据不会加密。

知道这个问题的原因吗?

0 个答案:

没有答案