Spark Launcher不通过命令行工作提交作业,也可以使用java执行命令

时间:2018-06-05 13:16:36

标签: java apache-spark

SparkLauncher spark = new SparkLauncher(env)
        .setDeployMode("client")
        .setAppName("test")
        .setSparkHome(sparkHome)
        .setAppResource("/Users/aruntanwar/samplepython.py")
        .setMaster("spark://Apples-MacBook-Pro-2.local:7077")
        .setVerbose(true);

 Process pr = spark.launch();
 pr.waitFor();
 BufferedReader buf = new BufferedReader(new 
 InputStreamReader(pr.getInputStream()));
 String line = "";
 while ((line= buf.readLine())!= null) {
     System.out.println(line);
 }

基本上,Process构建器对象包含cmd数组,其中包含命令行spark submit中使用的所有数据。我不知道为什么它不起作用。

0 个答案:

没有答案