Spark 2:在SparkLauncher中使用自定义的spark-submit脚本

时间:2018-11-27 17:58:00

标签: java apache-spark hadoop apache-spark-2.0

我希望使用自定义的spark-submit之类的脚本(但名称不同)来使用“ SparkLauncher”提交Spark作业

问题在于默认的createBuilder()方法在SparkLauncher.class中硬编码了脚本的名称。

是否有一种方法可以强制API使用我的自定义脚本,例如custom-spark-submit

 private ProcessBuilder createBuilder() {
        List<String> cmd = new ArrayList();
        String script = CommandBuilderUtils.isWindows() ? "spark-submit.cmd" : "spark-submit";

0 个答案:

没有答案