在Java Map中读取snappy文件

时间:2015-04-16 18:11:02

标签: mapreduce snappy

我们可以使用snappy文件作为Map reduce应用程序的输入文件而不使用自定义输入类吗?

我无法找到有关此内容的任何信息。

此致 光洁度

1 个答案:

答案 0 :(得分:0)

是的,你可以这样做,但你可能必须首先解压缩文件才能使用它。

 CompressionCodec codec = (CompressionCodec) ReflectionUtils.newInstance(SnappyCodec.class, new Configuration());

创建编解码器实例后,调用createInputStream并传递hadoop路径。 codec.createInputStream