如何在Giraph中读取LZO压缩的HDFS文件

时间:2014-10-14 17:31:07

标签: giraph

我正在寻找Giraph的输入格式,它可以读取LZO压缩文件。看来GiraphRunner默认使用的当前输入格式是BspInputFormat,它没有提到LZO压缩。这只是一个疏忽,我必须实现自己的LzoBspInputFormat类吗?感觉就像某人以前做过的事情一样。

1 个答案:

答案 0 :(得分:0)

看来我在实际尝试之前就问了这个问题。我正在通过GiraphRunner将LZO压缩文件加载到我的Giraph作业中,它接受输入正常。这是一个完全没有问题。