在dcos spark-submit中传递多个jar文件，用逗号分隔的jar不合适

Question

需要的uggestions，需要将大量的jar文件传递给dcos spark submit，用逗号分隔的jar不合适：

尝试以下选项：

dcos spark run --submit-args='--class com.gre.music.inn.orrd.SpaneBasicApp --jars /spark_submit_jobs/new1/unzip_new/* 30'

dcos spark run --submit-args='--class com.gre.music.inn.orrd.SpaneBasicApp --jars local:* 30'

dcos spark run --submit-args='--class com.gre.music.inn.orrd.SpaneBasicApp --jars https://s3-us-west-2.amazonaws.com/gmu_jars/* 30‘ . 

最后一个不会工作bcz我猜不允许使用外卡。

Answer 1

从DC / OS更新：

- 通过dcos spark run（Spark群集模式）不支持jars。当我们将Spark转移到Marathon而不是Spark调度程序时，我们将围绕~DC / OS 1.10支持它。与此同时，如果你想使用--jars，你必须通过节拍器或马拉松的spark-submit以客户端模式提交你的工作。

Answer 2

据我所知你不能使用通配符，你需要将JAR放在Spark可以以分布式方式访问它们的地方（S3，http，hdfs等）。

见

• named type

  

application-jar：捆绑jar的路径，包括您的应用程序和所有依赖项。 URL必须在群集内部全局可见，例如，hdfs：//路径或所有节点上都存在的file：//路径。

Answer 3

您不能在--jars中使用带spark-submit参数的通配符。 Here's功能请求（它仍处于打开状态）。