如何解决本机snappy库不可用：SnappyCompressor尚未加载？

Question

我通过Mapreduce运行wordcount但发生错误。本机snappy库不可用：SnappyCompressor尚未加载。我认为没有加载snappy库。但是，当我检查本机库时，snappy库是可以的。我不知道如何解决它。

Answer 1

这取决于您的hadoop发行版安装的操作系统。通常预构建的snappy压缩与Hadoop一起提供给某些操作系统，如Ubuntu，RHEL等。

https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/NativeLibraries.html#Native_Hadoop_Library

如果您正在使用其他操作系统，则需要为该操作系统安装/构建snappy，并通过更改配置将其集成到hadoop集群中。 要在cent os上启用snappy，您可以按照以下URL进行操作

http://www.ericlin.me/enabling-snappy%EF%BC%8Dcompression-in-hadoop-2-4-under-centos-6-3