我正在使用具有4个节点的YARN客户端模式在Spark集群上运行应用程序。除主节点外,还有三个可用的工作程序节点,但仅在两个工作程序上执行应用程序。工人是随机选择的,每次运行应用程序时都不会选择任何特定的工人。
对于未使用的工人,以下行已记录在日志中:
INFO客户端:54
df = df.where(data.values > sma20.values, 1, 0)
以下是 client token: N/A
diagnostics: N/A
ApplicationMaster host: 192.168.0.67
ApplicationMaster RPC port: 0
queue: default
start time: 1550748030360
final status: UNDEFINED
tracking URL: http://aiserver:8088/proxy/application_1550744631375_0004/
user: root
命令:
spark-submit
为什么我的Spark YARN客户端不能在所有可用的工作机上运行?