Question

我正在通过Java代码尝试spark-submit。我指的是以下例子。

https://github.com/mahmoudparsian/data-algorithms-book/blob/master/misc/how-to-submit-spark-job-to-yarn-from-java-code.md

但我得到了

The constructor ClientArguments(String[], SparkConf) is undefined

这是我的代码。

import org.apache.spark.deploy.yarn.Client;
import org.apache.spark.deploy.yarn.ClientArguments;
import org.apache.hadoop.conf.Configuration;
import org.apache.spark.SparkConf;

public class SparkSubmitJava {
    public static void main(String[] arguments) throws Exception {
        String[] args = new String[] {"--name", "myname", "--jar", "/home/cloudera/Desktop/ScalaTest.jar", "--class", "ScalaTest.ScalaTest.ScalaTest", "--arg","3", "--arg", "yarn-cluster"};

        Configuration config = new Configuration();
        System.setProperty("SPARK_YARN_MODE", "true");
        SparkConf sparkConf = new SparkConf();
        ClientArguments cArgs = new ClientArguments(args, sparkConf);  // getting constructor error
        Client client = new Client(cArgs, config, sparkConf); // getting constructor error
        client.run();
    }
}

我的pom.xml依赖部分：

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.10</artifactId>
    <version>1.3.0</version>
</dependency>

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-yarn_2.9.3</artifactId>
    <version>0.8.1-incubating</version>
</dependency>

蚂蚁帮助将不胜感激。

Answer 1

考虑到你从pom.xml中分享了什么，这是你的问题：你正在使用一个非常旧版本的spark-yarn库0.8.1-incubating，你需要用相应的版本代替spark-core 。由于您使用的是Spark 1.3，因此您需要使用以下内容而不是您正在使用的依赖项：

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-yarn_2.10</artifactId>
    <version>1.3.0</version>
</dependency>

其次，您使用scala-wise的不兼容版本的库。请注意，_2.10和_2.9.3非常重要。它们允许您使用每个依赖项的特定scala编译版本，因此您应该小心。

spark-submit通过java代码

1 个答案: