Question

我已经设置了一个三节点Hadoop集群，并尝试使用Hadoop的YARN和HDFS运行Spark。

我设置了各种环境变量，例如HADOOP_HOME，HADOOP_CONF_DIR，SPARK_HOME等。

现在，当我尝试使用start-master.sh运行spark的主进程时，它给了我一些例外，异常文件的主要内容如下：

Spark Command: /usr/local/java/bin/java -cp     /usr/local/spark/conf/:/usr/local/spark/jars/*:/usr/local/hadoop/etc/hadoop/ -    Xmx1g org.apache.spark.deploy.master.Master --host master.hadoop.cluster --port 7077 --webui-port 8080


Error: A JNI error has occurred, please check your installation and try again
Exception in thread "main" java.lang.NoClassDefFoundError: org/slf4j/Logger
    at java.lang.Class.getDeclaredMethods0(Native Method)
    at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)

正如它所说的ClassNotFound异常，我无法理解如何提供这个类，以及使用哪个Jar可以从中选择类文件。这个jar是否与Spark下载捆绑在一起？

任何人都可以帮助解决这个问题。

无法启动Spark的Master进程

0 个答案: