执行spark-submit时，jar的路径需要指向HDFS吗？

Question

执行spark-submit命令时，JAR路径需要指向HDFS位置吗？

也许你没有权利在HDFS中上传包，但仍然想要执行Spark工作。

Answer 1

这取决于驱动程序实例的部署模式。

例如，如果在独立群集中以客户端模式运行spark-submit，则可以在本地计算机中指定路径，因为Spark驱动程序部署在执行spark-submit命令的同一台计算机上。然后，它将与工作人员共享jar文件。

但是，如果在集群模式下运行spark-submit，则需要在可从所有集群节点（例如HDFS）访问的路径中上载jar，因为在集群模式下，驱动程序在任意工作程序中实例化。群集。