无法使用Spark Standalone启动作业

时间:2020-11-12 10:18:24

标签: apache-spark cluster-computing firewall

我目前正在为我的学校实施HPC集群。在进行各种安装之后,后面的一个是Spark,我正在尝试使用Spark Shell运行一个简单的WordCount来测试Spark的安装。

我无法完成这项工作,并且在项目进展的早期,SLURM遇到了同样的问题(仍未解决)。我在尝试运行作业时收到此错误:“初始作业未接受任何资源;请检查您的群集UI,以确保工人已注册并具有足够的资源”

从UI上可以看出,使用我在spark-env中给他们的配置,工人已经正确注册。

Spark master UI

我不认为它来自配置,因为节点已注册,并且SLURM存在类似问题。 另外,我们知道学校已经部署了网络上无法部署的全局防火墙。问题可能出自此防火墙吗?

如果您有其他任何想法,我愿意进行任何测试。

0 个答案:

没有答案