错误:无法初始化类org.xerial.snappy.Snappy

时间:2017-07-12 07:19:46

标签: hadoop compression sqoop snappy

我使用sqoop 1.4.6将数据从RDBMS导入到hdfs,使用snappyCodec作为压缩,avro作为文件格式。我安装了以下组件

Hadoop 2.8.0
Spark 2.1.0
Hive 1.2.2
Scala 2.11.8
卡桑德拉3.10

当我尝试使用以下命令将mysql表导入hdfs时:

Could not initialize class org.xerial.snappy.Snappy

我收到了以下错误:

{{1}}

并且在尝试找到这个课程后它超时了。
我尝试了关于这个问题的解决方案,如安装tmp和添加snappy jar文件(已经存在),但它们都不起作用。我缺少什么?

1 个答案:

答案 0 :(得分:0)

在尝试了几种解决方案之后,我终于找到了问题所在。在sqoop命令中使用--verbose标志显示有多个snappy-xxx.jar文件从不同的组件导入,如

  1. $ HADOOP_HOME /共享/ hadoop的/普通/ LIB /
  2. $ HADOOP_HOME /共享/ hadoop的/映射精简/ LIB /
  3. $ SQOOP_HOME / LIB /
    因此包括3个活泼的罐子。
  4. <强>解决方案: 我确保在这种情况下只包含1个文件并且错误已解决。