Spark - 使用服务器端加密(AES)从s3读取

时间:2016-07-20 03:40:35

标签: hadoop apache-spark amazon-s3

在java中创建RDD的一种方法是

SELECT 
a.Sales_ID, a.Sales_No, a.Sales, b.Collection
FROM
(
    SELECT Month, Sales_ID, Sales_No, Sum(Sales) 'Sales'
    FROM FT_Sales a
    JOIN LU_Month b on a.Day=b.Day
    WHERE b.Month=201607
    GROUP BY Month, Sales_ID, Sales_No
) a
JOIN
(
    SELECT Month, Sales_ID, Sales_No, Sum(Collection) 'Collection'
    FROM FT_Payment a
    JOIN LU_Month b on a.Day=b.Day
    WHERE b.Month=201607
    GROUP BY Month, Sales_ID, Sales_No
) b on a.Sales_ID=b.Sales_ID

如果使用服务器端加密对s3中的数据进行加密,该怎么办? 那我们如何创建RDD?

1 个答案:

答案 0 :(得分:0)

如果您使用加密的EMR,那么它应该在从S3处理EMR时自动解密。