Spark Standalone集群，每个执行程序的内存问题

Question

您好我正在使用spark提交脚本启动我的Spark应用程序

spark-submit --master spark://Maatari-xxxxxxx.local:7077 --class EstimatorApp /Users/sul.maatari/IdeaProjects/Workshit/target/scala-2.11/Workshit-assembly-1.0.jar  --d
eploy-mode cluster --executor-memory 15G num-executors 2

我在两个节点（我的2台笔记本电脑）上部署了一个Spark独立集群。群集运行正常。默认情况下，它为工作程序设置15G，为执行程序设置8个核心。现在我遇到了以下奇怪的行为。虽然我明确设置了内存，但这也可以在sparconf UI的environmement变量中看到，在Cluster UI中它表示我的应用程序限制为执行程序内存的1024MB。这让我想到了默认的1G参数。我想知道为什么会这样。

由于内存问题，我的应用确实失败了。我知道我需要为该应用程序提供大量内存。

最后一点困惑是Driver程序。为什么假设我处于集群模式，火花提交不会立即返回？我认为，鉴于驱动程序在集群上执行，客户端即提交应用程序应立即返回。这进一步告诉我，我的conf以及如何执行事情是不对的。

任何人都可以帮助诊断吗？

Answer 1

两种可能性：

• 假设您的命令行中有错误指定的--num-executors：Spark也可能会在 other 设置中“放弃”。
• 您的笔记本电脑有多少内存？我们大多数人都使用Mac的..，根据我的经验，您将无法以超过8GB的速度运行它。