Spark独立集群

Question

我有一个spark-standalone群集。该集群由2个工作程序和1个主节点组成。当我在主节点上运行程序时，作业仅分配给一个工作程序。另一个工人不能做某事。

工人出现在图片上。要运行我的代码，我使用了以下命令：

spark-submit --class Main.Main --master spark://172.19.0.2:7077 --deploy-mode cluster Main.jar ReadText.txt  

Answer 1

从上面的图片中我们注意到你的工作节点中有1个核心系统

您可以使用以下命令

spark-submit --class Main.Main --total-executor-cores 2 --executor-cores 1 --master spark://172.19.0.2:7077 --deploy-mode cluster Main.jar ReadText.txt

希望这有助于!!! ...

Answer 2

请问你可以尝试使用部署模式客户端，或者只是忽略该参数，因为如果你的部署模式是集群，你的工作者之一运行驱动程序任务而另一个工作人员将运行rdd任务，那么这里发生了什么为什么你的一个工作者只执行任务，当你运行你的shell时，默认情况下使用客户端模式并使用两个worker来运行任务。只需尝试一次以下命令来部署应用程序，您可以请一次共享您的应用程序的代码片段。

spark-submit --class Main.Main --master spark://172.19.0.2:7077  Main.jar ReadText.txt