我希望使用自定义的spark-submit之类的脚本(但名称不同)来使用“ SparkLauncher”提交Spark作业
问题在于默认的createBuilder()
方法在SparkLauncher.class
中硬编码了脚本的名称。
是否有一种方法可以强制API使用我的自定义脚本,例如custom-spark-submit
?
private ProcessBuilder createBuilder() {
List<String> cmd = new ArrayList();
String script = CommandBuilderUtils.isWindows() ? "spark-submit.cmd" : "spark-submit";