我正在用yarn-client模式下的spark-submit命令运行示例Spark PI Job。当驱动程序在运行客户端的同一节点上提交作业时,我的作业运行良好。
示例:如果我从node1运行我的spark提交作业,并且该节点 管理器在node1本身上启动,然后运行正常。但是如果我做这份工作 从节点1开始,节点管理器在节点2上启动,然后应用程序停留在 接受状态。
我经历过的大多数答案都说明了工作没有得到资源。我正在使用以下命令
运行Spark PI命令我检查了所有资源,在一台16GB,4核计算机上,我有10GB的可用空间,并且CPU利用率低于30%
spark-submit --class org.apache.spark.examples.SparkPi --master yarn --num-executors 1 --driver-memory 512m --executor-memory 512m --executor-cores 1 spark-examples*.jar 100
我只要求最少的资源,但我的工作仍然处于“接受”状态。