我们尝试通过Snappy压缩在NiFi中使用CreateSequenceFile处理器,但遇到以下错误:
java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()Z:java.lang.UnsatisfiedLinkError
经过一些研究,似乎问题在于Java缺少灵敏的本机文件
我们将快速的本机文件(在lib / hadoop / lib / native下)从hadoop服务器移动到了nifi服务器,并尝试了所有可以找到的东西。我们将LD_LIBRARY_PATH和JAVA_LIBRARY_PATH导出到此目录,并添加行java.arg.16 = -Djava.library.path = / path / to / snappy / native / directory甚至将本机文件放在$ JAVA_HOME / lib /下。本机目录。没有帮助
我们在lsof out java(NiFi)进程上使用了lsof,发现没有引用这些文件,但是有对/tmp/snappy-1.0.5-libsnappyjava.so的引用,这可能是相关的。
我们可能会缺少一些东西吗?