即使安装了“ hadoop checknative -a”也不会检测到快照

时间:2018-11-20 04:37:30

标签: hadoop mapreduce snappy

尝试设置hadoop本机库,因此我可以使用mapred pipes ...

运行C ++作业

当前所有作业均失败,这是因为hadoop安装未检测到snappy。以下是hadoop checknative -a

的输出

enter image description here

  • 我的hadoop是从源代码(v3.1.1)构建的
  • 我签出并构建了快照,它创建了文件/usr/lib/x86_64/libsnappy.so|a|...,但是hadoop checknative -a仍然显示snappy: false
  • 我还通过snappy安装了sudo apt get install snappy-dev,同样的问题。
  • 我运行了ld -l snappy --verbose,我发现在/usr/lib/x86_64/libsnappy.so中发现了snappy,但是Hadoop先生仍然拒绝承认它的存在。
  • hadoop还需要
  • libcrypto.so,我将其与libsnappy.so放在同一目录中,但是Hadoop会找到前者而不是后者。 rr。

有什么想法吗?

0 个答案:

没有答案