Hadoop GPG SerDe

时间:2012-08-29 16:28:31

标签: encryption hadoop hive gnupg

我目前正在开发一个需要数据加密的Hadoop项目(因为数据将存储在S3中)。虽然我主要希望通过Hive访问数据,但能够通过Pig和任何其他MapReduce方法访问它会很好。

我知道Hadoop内置了对gzip,snappy等压缩编解码器的支持......是否也支持加密编解码器(特别是GPG)?有没有人写过公开发售的GPG SerDe(或类似的东西)?

1 个答案:

答案 0 :(得分:0)

最后我知道Hadoop没有任何内部支持加密。好像你可以用你的GPG代码ala http://www.mail-archive.com/common-user@hadoop.apache.org/msg06229.html

重载CompressionCodec

Happy Hacking&如果您找到解决方案,请告诉我们!