从apache storm中读取snappy压缩序列文件

时间:2018-06-18 20:55:19

标签: hadoop apache-storm snappy

我有一个snappy压缩序列文件,我想从apache风暴中读取。 我创建了一个小的独立java程序,我正在传递java.library.path =<>它工作正常。我尝试从风暴拓扑中读取相同的文件,但不断收到错误

Caused by: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()Z

我尝试过很多选项,例如将worker.childopts设置为指向hadoop本机库并探索其他属性。 只有在风暴拓扑中工作的解决方案是更新 storm.yaml 中的 java.library.path 并重新启动风暴主管。

还有其他方法可以从风暴拓扑中读取snappy压缩文件。

0 个答案:

没有答案