如何在Spark中与执行者共享主节点上的文件，如何使用--files参数？

Question

有人可以解释一下，如何使用spark-submit中的--files参数将master中的文件发送给所有执行者

/bin/spark-submit --master yarn --queue development --conf spark.memory.offHeap.enabled=true --conf spark.memory.offHeap.size=128G --files /keras/mnist.npz

但这给了我错误。我是新来的火花。

Exception in thread "main" java.lang.IllegalArgumentException: Missing application resource.

Answer 1

很显然，您没有在此命令上指定应用程序类。在Running Spark On Yarn上查找更多详细信息。