将更新的jar文件复制到Spark上的每个从属节点

Question

我有一个Apache Spark集群，由一个主节点和多个从节点组成。在每个节点的jars文件夹中，我需要jar文件来运行我在Spark上运行的程序。

这个jar有定期更新，所以我发现自己不断复制更新的jar文件。

是否有一种快速简便的方法可以将更新的jar文件从主节点复制到所有从节点，或者每次更新jar时以任何其他方式分发它？

Answer 1

使用spark-submit使用--jars选项运行Spark作业时。使用此选项，您可以编写所需的jar文件路径 此外，--jars选项中的jar将自动传输到群集，因此您只需要在主节点上使用此jar。 了解如何使用此选项here。