Question

我已经成功安装了Java openjdk version "10.0.2"和Hadoop 2.9.0。所有进程都运行良好

hadoopusr@amalendu:~$ jps
19888 NameNode
20388 DataNode
20898 NodeManager
20343 SecondaryNameNode
20539 ResourceManager
21118 Jps

但是，每当我尝试执行类似hdfs dfs -ls /之类的命令时，都会收到此警告

hadoopusr@amalendu:~$ hdfs dfs -ls /
WARNING: An illegal reflective access operation has occurred
WARNING: Illegal reflective access by org.apache.hadoop.security.authentication.util.KerberosUtil (file:/usr/local/hadoop/share/hadoop/common/lib/hadoop-auth-2.9.0.jar) to method sun.security.krb5.Config.getInstance()
WARNING: Please consider reporting this to the maintainers of org.apache.hadoop.security.authentication.util.KerberosUtil
WARNING: Use --illegal-access=warn to enable warnings of further illegal reflective access operations
WARNING: All illegal access operations will be denied in a future release
18/09/04 00:29:24 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

请帮助解决此问题。这是我的〜/ .bashrc文件配置

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

Answer 1

对于这些警告，您无能为力，这与拼图项目和强封装有关。

基本上，有一个名为sun.security.krb5.Config的类，它是某个名为java.security.jgss的“模块”的一部分。该模块“定义”了它输出的内容（其他人可以从中使用什么）以及向谁输出。这也用普通的英语表示这不是供公众使用的-请勿触摸它； hadoop做得很好，这是他们解决此问题的努力的一部分。您可以报告此问题或尝试升级hadoop，可能这已经解决。

Answer 2

此问题是由于最新的Java升级引起的。请使用Java 8对其进行快速配置。

Answer 3

此问题已通过Hadoop 3.3和3.2.2修复。 https://issues.apache.org/jira/browse/HADOOP-10848

如何修复Hadoop警告：在Ubuntu上发生了非法的反射访问操作错误

3 个答案: