spark-submit 向工作节点添加包

Question

如果我将 spark-submit 与 --packages 一起使用并提供一个 maven 包，该包会添加到工作节点，还是仅添加到主节点？

我正在使用 --packages 参数并指定单个 maven 依赖项。我已经获得了驱动程序 Pod 的外壳，并确认 jar 正在下载到驱动程序。

但是，工作日志正在抛出 ClassNotFoundExceptions 此依赖项的部分类。我希望依赖于主节点而不是工作节点。

如何将此依赖项添加到工作节点？

Answer 1

如文档所述：

https://spark.apache.org/docs/latest/submitting-applications.html

<块引用>

使用 spark-submit 时，应用程序 jar 以及 --jars 选项中包含的任何 jar 将自动传输到集群。在 --jars 之后提供的 URL 必须用逗号分隔。该列表包含在驱动程序和执行程序类路径中。目录扩展不适用于 --jars。

<块引用>

用户还可以通过使用 --packages 提供以逗号分隔的 Maven 坐标列表来包含任何其他依赖项。

是的，jar 将上传到集群，因此所有工作节点上的 jvm。