远程向Azure HDInsight提交作业

Question

我设置了Azure HDInsight Spark群集。我想远程向我的集群发送一份工作：

import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.SparkConf;

public class App 
{
    public static void main( String[] args )
    {
        SparkConf conf = new SparkConf().setAppName("App").setMaster("spark://12.34.56.78:7077");
        JavaSparkContext sc = new JavaSparkContext(conf);
    }
}

群集是以纱线模式创建的。 Spark工作人员的主人是“纱线客户”。最好直接连接到主机名或IP地址。

有什么好办法可以解决这个问题？

Answer 1

您无法通过JAVA程序执行此操作，请参阅此https://docs.microsoft.com/en-us/azure/hdinsight/hadoop/submit-apache-hadoop-jobs-programmatically

Answer 2

对于在评论中提交作业的其他方式，您可以尝试使用REST API Batch Job进行HDInsight Spark，请参阅参考https://docs.microsoft.com/en-us/rest/api/hdinsightspark/hdinsight-spark-batch-job以了解它。