我目前正在开发一个需要数据加密的Hadoop项目(因为数据将存储在S3中)。虽然我主要希望通过Hive访问数据,但能够通过Pig和任何其他MapReduce方法访问它会很好。
我知道Hadoop内置了对gzip,snappy等压缩编解码器的支持......是否也支持加密编解码器(特别是GPG)?有没有人写过公开发售的GPG SerDe(或类似的东西)?
答案 0 :(得分:0)
最后我知道Hadoop没有任何内部支持加密。好像你可以用你的GPG代码ala http://www.mail-archive.com/common-user@hadoop.apache.org/msg06229.html
重载CompressionCodecHappy Hacking&如果您找到解决方案,请告诉我们!