如何在java代码中运行bin / spark-submit？

Question

我最近一直在学习Spark。我通常通过命令行提交Spark Job。例如：

SparkResult result = sc.submit()

但是，我想在Java代码中运行spark-submit，比如 QWidget。

Answer 1

尝试使用java.lang.Runtime.exec()调用可执行文件。

或者从spark docs，这似乎是你的榜样：

int count = spark.parallelize(makeRange(1, NUM_SAMPLES)).filter(new Function<Integer, Boolean>() {
  public Integer call(Integer i) {
    double x = Math.random();
    double y = Math.random();
    return x*x + y*y < 1;
  }
}).count();
System.out.println("Pi is roughly " + 4 * count / NUM_SAMPLES);