我现在迷路了。我正在运行一个Spark独立群集,同一个工作箱上的工作人员。我这样做是为了概念证明,所以还没有为生产做好准备。
我在EC2中用4个内核和16GB内存驱动了一个大盒子。我从同一子网中的另一个节点提交作业(安全组确认节点之间的所有端口都很好)。
/bin/spark-submit --class SimpleApp --total-executor-cores 4 \
--executor-memory 10G --master spark://spark-test:7077 \
--deploy-mode client src/main/scala/target/scala-2.11/simple-project_2.11-1.0.jar
我收到以下错误消息。
17/05/03 20:06:51 WARN TaskSchedulerImpl:初始工作没有接受任何资源;检查您的集群UI以确保工作人员已注册并具有足够的资源