Question

我正在使用spark独立群集，下面是我的spark-env属性。

export SPARK_EXECUTOR_INSTANCES=432
export SPARK_EXECUTOR_CORES=24
export SPARK_EXECUTOR_MEMORY=36G
export SPARK_DRIVER_MEMORY=24G

我有6个工作节点，如果我试图运行一个具有大量文件和连接的作业，它就会卡住并失败。我可以看到6个执行器用于24GB的作业。

能否请您提供任何链接或详细信息以进行调整并了解工作节点和执行器概念。我推荐了一个cloudera博客，但更多的是关于纱线。但是，我需要它用于spark独立集群

Answer 1

您好我遇到过与您类似的问题，您可以参考下面的文章，我在阅读了大量的调整文章后将其添加为书签。希望它有所帮助。