Flume代理 - 我可以像gzip或bz2那样指定压缩吗?

时间:2011-02-26 01:40:03

标签: hadoop agent cloudera flume

是否可以在Flume代理上指定压缩选项,以便以压缩格式将数据传输到收集器?我知道收集器级别有压缩选项,但是能够从代理传输压缩数据也非常有用。

谢谢!

1 个答案:

答案 0 :(得分:2)

Flume拥有您可以使用的gzipgunzip个装饰器。将gzip装饰器放在代理接收器上,将gunzip装饰器放在收集器接收器上,并在代理和收集器之间传输压缩数据应该正常工作。