Spark-不向集群中的节点提交作业

Question

我在独立群集模式（Windows 7）中完成了火花设置。 我能够注册2个节点并在spark UI上验证相同的内容。 但是当我提交工作时，其状态始终保持为等待。

工作节点的日志/工作目录没有防火墙问题或权限问题。

真的很感激任何帮助。

Answer 1

我在本地计算机上进行了一些测试（使用WSL的Windows 10）：

1. 开始了主人：./sbin/start-master.sh
2. 使用主网址开始了一个奴隶：./sbin/start-slave.sh
3. 提交的sparkpi示例和应用正在等待：
   ./spark-submit --executor-cores 64 --master spark://[master-hostname]:7077 --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.11-2.2.0.jar
4. 提交的sparkpi示例和应用完成： ./spark-submit --executor-cores 4 --master spark://[master-hostname]:7077 --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.11-2.2.0.jar

正如epcpu和我所说的那样，您可能只是在群集上请求了太多资源，资源管理器会等待它们可用。