Spark初始作业未接受资源Amazon EC2独立群集

时间:2018-04-11 17:17:06

标签: amazon-web-services apache-spark amazon-ec2 terraform apache-spark-standalone

因此,我使用Terraform将独立群集部署到Amazon EC2。它使用无密码ssh与工作人员进行通信。

我使用start master脚本启动master,将集群的公共ip作为ec2实例的公共dns。

然后我使用start-slaves脚本启动从站,复制了一个config / slaves文件,其中包含可用于运行worker的2个EC2实例的公共IP地址。 (他们每个人都在与主人相同的位置上进行火花部署)

在UI中,工作人员已注册并正在运行: enter image description here 但是,当我向群集提交任何作业时,它永远无法分配显示该消息的资源: enter image description here

有谁知道如何解决这个问题?

日志显示工作人员正确启动和注册,我提交的任务在可用资源范围内。 (尝试过1个cpu核心和500mb)。

有谁知道为什么这项任务可能不会被接受?

干杯

0 个答案:

没有答案