Question

我知道有一些问题，但没有足够的信息来解决我的问题。

我尝试从我的Eclipse项目中以纱线客户端模式运行作业。我有一个带有2个节点的hadoop集群（其中一个节点当前已关闭）。我尝试在集群模式下运行它（使用spark-submit）并且它正常工作。我尝试使用以下命令在eclipse项目中运行本地：

我正在尝试制作这样的Spark上下文：

        SparkConf conf = new SparkConf().setAppName("AnomalyDetection-BuildModel").setMaster("local[*]");

它有效。

但是当我尝试用“yarn-client”运行它时：

 SparkConf conf = new SparkConf().setAppName("AnomalyDetection-BuildModel").setMaster("yarn-client").set("driver-memory", "556m").set("executor-memory", "556m").set("executor-cores", "1").set("queue", "default");

我收到了一个错误：

cannot assign instance of scala.collection.immutable.List$SerializationProxy to field org.apache.spark.rdd.RDD.org$apache$spark$rdd$RDD$$dependencies_ of type scala.collection.Seq in instance of org.apache.spark.rdd.MapPartitionsRDD

另一个问题是我不确切知道依赖性和兼容性在这种情况下是如何工作的以及为什么使用local [*]我没有收到任何错误。

这是我的pom.xml文件：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>buildModelTest</groupId>
    <artifactId>buildModelTest</artifactId>
    <version>1</version>
    <properties>
        <encoding>UTF-8</encoding>
        <scala.version>2.11.8</scala.version>
        <spark.version>2.1.0</spark.version>
        <hadoop.version>2.7.0</hadoop.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>3.8.1</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.10</artifactId>
            <version>2.1.0</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-mllib_2.10</artifactId>
            <version>2.1.0</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-reflect</artifactId>
            <version>2.11.8</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-yarn_2.10</artifactId>
            <version>2.1.0</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.scalatest</groupId>
            <artifactId>scalatest_2.11</artifactId>
            <version>3.0.0</version>
            <scope>provided</scope>
        </dependency>
    </dependencies>
    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-jar-plugin</artifactId>
                <configuration>
                    <archive>
                        <manifest>
                            <mainClass>buildModelTest.Main</mainClass>
                      </manifest>
                    </archive>
                </configuration>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.3</version>
            </plugin>
        </plugins>
    </build>
</project>

在eclipse项目中，我添加了hadoop的配置文件，并在构建配置中添加了SCALA_HOME，SPARK_HOME，HADOOP_CONF_DIR的环境变量。关于SPARK，我有spark-2.1.0-bin-hadoop2.7和SCALA 2.11.8。在我的Java项目中，我添加了Spark / bin的所有jar。

那么你们有没有想过为什么这不适用于“client-yarn”，是否存在依赖性问题？如果是的话，普通和纱线客户在依赖方面有什么不同？ Maven为我下载了一些我从Spark / bin添加的jar，所以我猜其中一些是多余的。

修改

sparkContext已正确初始化（我猜）。当我调用.rrd（）方法时抛出错误：

       JavaRDD<Vector> parsedTrainingData = data.map(new Function<String, Vector>() {

                    private static final long serialVersionUID = 1L;

                    public Vector call(String s) {
                        String[] sarray = s.split(" ");
                        double[] values = new double[sarray.length];
                        for (int i = 0; i < sarray.length; i++) {
                            values[i] = Double.parseDouble(sarray[i]);
                        }
                        return Vectors.dense(values);
                    }
                });
                parsedTrainingData.cache();

                // Cluster the data into two classes using KMeans
                KMeansModel clusters = KMeans.train(parsedTrainingData.rdd(), numClusters, numIterations);

Answer 1

从您的代码中，您似乎正在尝试在YARN群集上运行Spark应用程序。

SparkConf conf = new SparkConf().setAppName("AnomalyDetection-BuildModel").setMaster("yarn-client").set("driver-memory", "556m").set("executor-memory", "556m").set("executor-cores", "1").set("queue", "default");

在这里，setMaster("yarn-client")是一个错误的参数。

当您将master设置为local[*]时，您的spark应用程序将在您计算机的单个JVM中运行。

要向正在运行的YARN群集提交spark应用程序，请设置setMaster("yarn")并选择将deploy-mode属性设置为客户端或群集。

有关这些参数的详细信息，请参阅this。

此外，如果您想从代码而不是命令行提交您的应用程序，请参阅this post。

客户端纱线工作上的Scala错误

1 个答案: