Apache Ignite：IgniteHadoopIgfsSecondaryFileSystem有哪些依赖项？

Question

我正在尝试使用Hadoop作为辅助存储设置IGFS。我已将设置设置为here，但我一直在NoClassDefFoundError。我已经下载了Ignite的两个二进制发行版，并尝试从源代码构建，但不包括依赖项。 hadoop-common-2.6.0.jar和ignite-hadoop-1.4.0.jar提供了一些依赖项，但现在我得到的NoClassDefFoundError org/apache/hadoop/mapred/JobConf根据我的理解，这是一个已弃用的类...

我一直在关注Apache Ignite网站上的说明，但这是我已经获得的。

IgniteHadoopIgfsSecondaryFileSystem作为辅助存储需要哪些依赖项？

Answer 1

看起来问题是Ignite节点在类路径上没有Hadoop库。要解决此问题，请尝试执行以下操作：

1）使用＆＃34; Hadoop加速器＆＃34; Ignite发行版（如果您自己构建发行版，请使用-Dignite.edition = hadoop）。

2）如果您正在使用Apache Hadoop发行版，请为Ignite进程设置HADOOP_HOME环境变量，或者，如果您使用其他发行版（HDP，Cloudera，BigTop等），请确保/ etc / default / hadoop文件存在且具有适当的内容。

或者，您可以手动将必要的Hadoop依赖项添加到Ignite节点类路径：这些是groupId＆＃34; org.apache.hadoop＆＃34;的依赖项。列在文件modules / hadoop / pom.xml中。目前他们是：

1. Hadoop的注解
2. 的hadoop-AUTH
3. Hadoop的共同
4. Hadoop的HDFS
5. Hadoop的MapReduce的客户端 - 公共
6. Hadoop的MapReduce的客户端 - 芯

Answer 2

如果您不想自己处理依赖关系管理 - 这是一个非常难以手动完成的事情 - 我建议您查看为软件堆栈提供编排和部署服务的项目。检查Apache Bigtop（bigtop.apache.org），它为Apache Ignite，Hadoop，HDFS以及此领域的其他任何东西提供预切割的Linux软件包。您可以通过我们的CI http://ci.bigtop.apache.org/view/Packages/job/Bigtop-trunk-packages

获取最新的夜间套餐