我正在使用MarkLogic
分层存储POC
,HDFS
作为其中一个层的存储层。我一直在尝试用数据目录创建一个带有Hadoop文件系统目录的林。
我有一个Hadoop集群和一个MarkLogic集群。我从Hadoop下载了配置文件并将它们复制到/usr/Hadoop
目录,并且我还根据此处的文档下载了所需的jar文件。
https://docs.marklogic.com/guide/performance/disk-storage#id_27091
我已将这些内容放在/usr/Hadoop
目录中,并且具有正确的lib
结构。我使用的是MarkLogic 7.0-4.3
版本,Cloudera Hadoop Distribution 5.3.1
用于HDFS
。
当我尝试创建林时,我收到以下错误。
2015-03-12 19:17:20.087 Error: Automount Foresthadoop: SVC-HDFSNOT:
HDFS not available for 'hdfs://{namdenode-hostname}:8020/tmp': unknown error
我尝试在组配置中将日志级别更改为最佳,并且还为林添加了跟踪事件。但我无法获得任何可以指出错误的其他细节。
在这方面的任何帮助将不胜感激。如果有任何其他方式可以将HDFS
作为林目录连接,请告诉我。
答案 0 :(得分:1)
未知错误是由于我有Java。我让JAVA_HOME指向IBM的java版本,并且在尝试连接HDFS时,MarkLogic不断在日志中提供有关ibm java安装目录中缺少的.io文件的错误。我们找到了那些丢失的io文件并将它们放在相应的目录中,最终导致了未知错误。
在我们安装oracle Java 7并使JAVA_HOME指向该位置之后,MarkLogic使用了CDH 4.3.1版本,这是MarkLogic认证的Hadoop版本
当我尝试使用带有最新jar的hadoop的CDH5.3.1版本时,虽然我在HDFS客户端中有包含此文件的jar,但MarkLogic仍然提供以下错误。
2015-03-19 15:53:44.516警告:XDMP-FORESTERR:森林初始化错误Foresthadoop2:SVC-NOJCLASS: java.lang.NoClassDefFoundError:无法初始化类org.apache.hadoop.util.VersionInfo
当我找到MarkLogic支持团队时,他们确认了Marko的CDH5.3.1版本尚未通过MarkLogic认证,他们将其作为产品图的一部分。
目前的结论是CDH 5.3.1不适用于MarkLogic。