Question

经过多次尝试为hadoop安装Lzo压缩后，我需要帮助，因为我真的不知道为什么它不起作用。

我在CentOs 6上使用hadoop 1.0.4。我尝试了http://opentsdb.net/setup-hbase.html，https://github.com/kevinweil/hadoop-lzo和其他一些但我仍然收到错误：

13/07/03 19:52:23 INFO lzo.GPLNativeCodeLoader: Loaded native gpl library 13/07/03 19:52:23 WARN lzo.LzoCompressor: java.lang.NoSuchFieldError: workingMemoryBuf

13/07/03 19:52:23 ERROR lzo.LzoCodec: Failed to load/initialize native-lzo library

即使加载了原生gpl。我根据以下链接更新了我的mapred-site和core-site，我已经在正确的路径中复制/粘贴库（仍然根据链接）。

真正的问题是lzo测试适用于namenode：

13/07/03 18:55:47 INFO lzo.GPLNativeCodeLoader: Loaded native gpl library 13/07/03 18:55:47 INFO lzo.LzoCodec: Successfully loaded & initialized native-lzo library [hadoop-lzo rev ]

我尝试在haddop-env.sh中设置几条路径，但似乎没有正确的解决方案...... 所以，如果您有任何想法，请链接......？我真的很感兴趣

[编辑]一周后，我仍然试图让它成为一个功能。我尝试了sudhirvn.blogspot.fr/2010/08/hadoop-lzo-installation-errors-and.html但删除所有Lzo和gplcompression库然后进行nez安装并不是更好。

这是因为我的hadoop核心版本？是否有可能同时拥有hadoop-core-0.20和hadoop-core-1.0.4？我应该在0.20 hadoop上编译Lzo以使用lzo吗？顺便说一句，我已经尝试过像这样编译hadoop-lzo：

CLASSPATH=/usr/lib/hadoop/hadoop-core-1.0.4.jar CFLAGS=-m64 CXXFLAGS=-m64 ant compile-native tar

如果它有助于完整错误：

    INFO lzo.GPLNativeCodeLoader: Loaded native gpl library
    WARN lzo.LzoCompressor: java.lang.NoSuchFieldError: workingMemoryBuf
    ERROR lzo.LzoCodec: Failed to load/initialize native-lzo library
    INFO lzo.LzoIndexer: [INDEX] LZO Indexing file test/table.lzo, size 0.00 GB...
    WARN snappy.LoadSnappy: Snappy native library is available
    INFO util.NativeCodeLoader: Loaded the native-hadoop library
    INFO snappy.LoadSnappy: Snappy native library loaded
    Exception in thread "main" java.lang.RuntimeException: native-lzo library not available
            at com.hadoop.compression.lzo.LzopCodec.createDecompressor(LzopCodec.java:87)
            at com.hadoop.compression.lzo.LzoIndex.createIndex(LzoIndex.java:229)
            at com.hadoop.compression.lzo.LzoIndexer.indexSingleFile(LzoIndexer.java:117)
            at com.hadoop.compression.lzo.LzoIndexer.indexInternal(LzoIndexer.java:98)
            at com.hadoop.compression.lzo.LzoIndexer.index(LzoIndexer.java:52)
            at com.hadoop.compression.lzo.LzoIndexer.main(LzoIndexer.java:137)
            at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
            at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
            at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
            at java.lang.reflect.Method.invoke(Method.java:597)
            at org.apache.hadoop.util.RunJar.main(RunJar.java:156)

我真的想使用lzo，因为我必须在一个相当小的集群（5个节点）上处理非常大的文件。具有可拆分的压缩文件可以使其运行得非常快。欢迎提出任何评论或想法。

Answer 1

我在OSX机器上遇到了同样的问题。当我从类路径中删除hadoop-lzo.jar（0.4.16）并放入hadoop-gpl-compression jar时，问题就解决了。

Answer 2

我遇到了完全相同的问题，最后通过随机选择一个datanode并检查lzop是否安装正确来解决它。

如果不是，我做了：

sudo apt-get install lzop

假设您使用的是基于Debian的软件包。

Hadoop压缩：“加载本机gpl库”但“无法加载/初始化native-lzo库”

2 个答案: