使用Akubra-HDFS和Cloudera CDH4

Question

我正在尝试使用Akubra-HDFS作为fedora commons服务器的低级存储空间。我按照与installation of IRODS类似的程序设置了Akubra-HDFS。 fedora服务器使用Hadoop（版本1.0.4）作为其存储。但是，我无法将Akubra-HDFS库与Cloudera CDH4 / Apache Hadoop 2.0.3alpha（高可用性（HA）发行版）一起使用。我想分享我的发现。

Answer 1

由于AKubra-HDFS是一个新的实验性图书馆，因此在互联网上没有太多资源。我必须通过试验不同的依赖性罐来找出解决方案。

按照https://github.com/fasseg/akubra-hdfs

上的说明操作

而不是为Hadoop 1.x.x列出的jar，而是将以下jar文件从CDH4（安装文件夹）复制到fedora lib文件夹。

1. 公地-CLI-1.2.jar
2. 公地配置-1.6.jar
3. commons-lang-2.4.jar
4. • google-collections-1.0-rc2.jar（这必须从fedora lib文件夹中删除）。
5. guava-11.0.2.jar（这是google-collections的较新版本）
6. 的hadoop-AUTH-2.0.0-cdh4.1.3.jar
7. Hadoop的共2.0.0-cdh4.1.3.jar
8. Hadoop的HDFS-2.0.0-cdh4.1.3.jar
9. 的protobuf-java的2.4.0a.jar