使用HDFS作为数据目录创建MarkLogic林时出错

时间:2015-03-12 19:29:30

标签: hdfs marklogic

我正在使用MarkLogic分层存储POCHDFS作为其中一个层的存储层。我一直在尝试用数据目录创建一个带有Hadoop文件系统目录的林。

我有一个Hadoop集群和一个MarkLogic集群。我从Hadoop下载了配置文件并将它们复制到/usr/Hadoop目录,并且我还根据此处的文档下载了所需的jar文件。 https://docs.marklogic.com/guide/performance/disk-storage#id_27091

我已将这些内容放在/usr/Hadoop目录中,并且具有正确的lib结构。我使用的是MarkLogic 7.0-4.3版本,Cloudera Hadoop Distribution 5.3.1用于HDFS

当我尝试创建林时,我收到以下错误。

2015-03-12 19:17:20.087 Error: Automount Foresthadoop: SVC-HDFSNOT:
HDFS not available for 'hdfs://{namdenode-hostname}:8020/tmp': unknown error

我尝试在组配置中将日志级别更改为最佳,并且还为林添加了跟踪事件。但我无法获得任何可以指出错误的其他细节。

在这方面的任何帮助将不胜感激。如果有任何其他方式可以将HDFS作为林目录连接,请告诉我。

1 个答案:

答案 0 :(得分:1)

未知错误是由于我有Java。我让JAVA_HOME指向IBM的java版本,并且在尝试连接HDFS时,MarkLogic不断在日志中提供有关ibm java安装目录中缺少的.io文件的错误。我们找到了那些丢失的io文件并将它们放在相应的目录中,最终导致了未知错误。

在我们安装oracle Java 7并使JAVA_HOME指向该位置之后,MarkLogic使用了CDH 4.3.1版本,这是MarkLogic认证的Hadoop版本

当我尝试使用带有最新jar的hadoop的CDH5.3.1版本时,虽然我在HDFS客户端中有包含此文件的jar,但MarkLogic仍然提供以下错误。

2015-03-19 15:53:44.516警告:XDMP-FORESTERR:森林初始化错误Foresthadoop2:SVC-NOJCLASS: java.lang.NoClassDefFoundError:无法初始化类org.apache.hadoop.util.VersionInfo

当我找到MarkLogic支持团队时,他们确认了Marko的CDH5.3.1版本尚未通过MarkLogic认证,他们将其作为产品图的一部分。

目前的结论是CDH 5.3.1不适用于MarkLogic。