Question

我已经在我的Hadoop Sandbox / CentOS上成功编译了基于JNI的Apache libhdfs（C ++） - 没有编译错误或警告：

g++ test.cpp -o test -I/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.151.x86_64/include/ 
-I/usr/hdp/2.6.3.0-235/usr/include/ -I/usr/hdp/2.6.3.0-235/hadoop/bin 
-I/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el6_9.x86_64/include/ 
-I/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el6_9.x86_64/jre/lib/amd64/ 
-L/usr/hdp/2.6.3.0-235/hadoop/lib/ -L/usr/hdp/2.6.3.0-235/hadoop/lib/native 
-L/usr/hdp/2.6.3.0-235/hadoop/lib/ -L/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el6_9.x86_64/jre/lib/amd64/ 
-L/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el6_9.x86_64/jre/lib/amd64/server/ 
-lhdfs -pthread -ljvm

尝试运行代码后，出现以下错误：

[root@sandbox-hdp ~]# ./test
Environment variable CLASSPATH not set!
getJNIEnv: getGlobalJNIEnv failed
Environment variable CLASSPATH not set!
getJNIEnv: getGlobalJNIEnv failed

如果我在终端中运行hadoop classpath，我会得到以下输出：

[root@sandbox-hdp ~]# hadoop classpath 
/usr/hdp/2.6.3.0-235/hadoop/conf:/usr/hdp/2.6.3.0-
235/hadoop/lib/:/usr/hdp/2.6.3.0-235/hadoop/.//:/usr/hdp/2.6.3.0-235/hadoop-
hdfs/./:/usr/hdp/2.6.3.0-235/hadoop-hdfs/lib/:/usr/hdp/2.6.3.0-235/hadoop-
hdfs/.//:/usr/hdp/2.6.3.0-235/hadoop-yarn/lib/:/usr/hdp/2.6.3.0-235/hadoop-
yarn/.//:/usr/hdp/2.6.3.0-235/hadoop-mapreduce/lib/:/usr/hdp/2.6.3.0-
235/hadoop-mapreduce/.//::jdbc-mysql.jar:mysql-connector-java-
5.1.17.jar:mysql-connector-java-5.1.37.jar:mysql-connector-
java.jar:/usr/hdp/2.6.3.0-235/tez/:/usr/hdp/2.6.3.0-
235/tez/lib/:/usr/hdp/2.6.3.0-235/tez/conf

在Apache libhdfs page上说：

最常见的问题是CLASSPATH未正确设置调用使用libhdfs的程序。确保将其设置为全部 Hadoop jar需要运行Hadoop本身以及正确的配置目录包含hdfs-site.xml。它无效使用通配符语法指定多个jar。它可能是有用的运行hadoop classpath --glob或hadoop classpath --jar来生成正确的部署类路径。请参阅Hadoop命令参考有关此命令的更多信息。

但是，经过多次尝试和错误尝试后我无法继续操作，因此，我非常感谢能帮助我解决这个问题的任何帮助。

编辑尝试了以下操作：CLASSPATH = hadoop classpath ./test

...这给了我以下错误：libjvm.so：无法打开共享对象文件：没有这样的文件或目录

我尝试了以下内容：export LD_LIBRARY_PATH=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el6_9.x86_64/jre/lib/amd64/server

......现在错误是：

[root@sandbox-hdp ~]# CLASSPATH=$CLASSPATH:`hadoop classpath` ./test
loadFileSystems error:
(unable to get stack trace for java.lang.NoClassDefFoundError exception: ExceptionUtils::getStackTrace error.)
hdfsBuilderConnect(forceNewInstance=0, nn=default, port=0, kerbTicketCachePath=(NULL), userName=(NULL)) error:
(unable to get stack trace for java.lang.NoClassDefFoundError exception: ExceptionUtils::getStackTrace error.)
hdfsOpenFile(/tmp/testfile.txt): constructNewObjectOfPath error:
(unable to get stack trace for java.lang.NoClassDefFoundError exception: ExceptionUtils::getStackTrace error.)

Answer 1

以下可能适合您：

CLASSPATH=$CLASSPATH:`hadoop classpath` ./test

或仅此：

CLASSPATH=`hadoop classpath` ./test

查看JAVA_HOME环境变量，也许它可能会改变使用的java库。

最后，像下面脚本这样的包装器可能很有用：

#!/bin/bash
export CLASSPATH="AllTheJARs"
ARG0="$0"
EXEC_PATH="$( dirname "$ARG0" )"
"${EXEC_PATH}/test" $@

类路径问题 - getJNIEnv失败

1 个答案: