为什么我的Spark Yarn客户端不能在所有可用的工作计算机上运行?

时间:2019-02-21 13:23:31

标签: apache-spark cluster-computing yarn worker executor

我正在使用具有4个节点的YARN客户端模式在Spark集群上运行应用程序。除主节点外,还有三个可用的工作程序节点,但仅在两个工作程序上执行应用程序。工人是随机选择的,每次运行应用程序时都不会选择任何特定的工人。

对于未使用的工人,以下行已记录在日志中:

INFO客户端:54

df = df.where(data.values > sma20.values, 1, 0)

以下是 client token: N/A diagnostics: N/A ApplicationMaster host: 192.168.0.67 ApplicationMaster RPC port: 0 queue: default start time: 1550748030360 final status: UNDEFINED tracking URL: http://aiserver:8088/proxy/application_1550744631375_0004/ user: root 命令:

spark-submit

为什么我的Spark YARN客户端不能在所有可用的工作机上运行?

0 个答案:

没有答案