我是新手，使用带有hadoop 2.4.1的spark-1.2.0。我已经设置了主节点和四个从节点。但是我的两个节点没有启动。
我在spark-1.2.0 / conf /目录中的slaves文件中定义了节点的IP地址。
但是当我尝试运行./sbin/start-all.sh时，错误如下：
failed to launch org.apache.spark.deploy.worker.Worker
could not find or load main class org.apache.spark.deploy.worker.Worker
这发生在两个节点上。其他两个工作正常。
我还在主人和奴隶中设置spark-env.sh。主人还有无密码ssh连接到奴隶。
我也试过./bin/spark-class org.apache.spark.deploy.worker.Worker spark://IP:PORT
它发出与以前相同的错误。有人可以帮我弄这个吗。我在哪里做错了？
答案 0 :(得分：1)
所以我找到了解决方案。对于所有使用spark开始新的人，请检查lib文件夹中的所有jar文件。我的奴隶中遗失了spark-assembly-1.2.0-hadoop2.4.0.jar个文件。
答案 1 :(得分：0)
我也遇到了同样的问题。如果这是localmode群集设置，那么您可以改为运行：
./sbin/start-master.sh
./sbin/start-slave.sh spark://localhost:7077
然后运行：
MASTER=spark://localhost:7077 ./bin/pyspark
我能够在shell上执行我的工作。
请记住按照此处设置conf / slaves和conf / spark-env.sh： http://pulasthisupun.blogspot.com/2013/11/how-to-set-up-apache-spark-cluster-in.html
同时将localhost更改为hostname。