使用spark-submit,我是否需要使用客户端模式在笔记本电脑上运行的工作人员?

时间:2017-05-03 20:13:43

标签: apache-spark

我现在迷路了。我正在运行一个Spark独立群集,同一个工作箱上的工作人员。我这样做是为了概念证明,所以还没有为生产做好准备。

控制台

的屏幕截图

Spark Master

我在EC2中用4个内核和16GB内存驱动了一个大盒子。我从同一子网中的另一个节点提交作业(安全组确认节点之间的所有端口都很好)。

/bin/spark-submit --class SimpleApp --total-executor-cores 4 \
--executor-memory 10G --master spark://spark-test:7077 \
--deploy-mode client src/main/scala/target/scala-2.11/simple-project_2.11-1.0.jar

我收到以下错误消息。

  

17/05/03 20:06:51 WARN TaskSchedulerImpl:初始工作没有接受任何资源;检查您的集群UI以确保工作人员已注册并具有足够的资源

0 个答案:

没有答案