Question

我一直在尝试使用Java运行Spark（如果重要的话，我使用IntelliJ作为我的IDE）。

后，我成功地运行了https://spark.apache.org/examples.html这里找到的calculate-pi代码。

我首先遇到以下错误：“java.lang.ClassNotFoundException：[B” 但是我用VM中的以下标志修复了它：“-Dsun.lang.ClassLoader.allowArraySyntax = true”。

现在我正在尝试构建，训练和运行SVMModel，如http://spark.apache.org/docs/0.9.0/mllib-guide.html所述，但我正在努力处理少量的Java文档。

我正在尝试运行以下代码：

import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.mllib.classification.SVMModel;
import org.apache.spark.mllib.classification.SVMWithSGD;
import org.apache.spark.mllib.regression.LabeledPoint;
import org.jblas.DoubleMatrix;

import java.util.ArrayList;
import java.util.List;

public class MinimalBugCode {

    public static void main(String[] args) throws Exception {
        try {
            JavaSparkContext spark = new JavaSparkContext("local","MinimalBugCode");

            int numberOfIterations = 10000;
            double[] theOutputData = { 1.0, 0.0, 0.0, 1.0, 1.0};
            double[][] theInputData = { { 2.2, 3.1, 1.7 }, { 1.9, 2.1, 0.6 }, { 4.7, 0.5, 1.3 }, { 2.6, 2.9, 2.2 }, { 1.5, 4.1, 1.5 }};

            int lengthOfData = theOutputData.length;

            List<LabeledPoint> thePointList = new ArrayList<LabeledPoint>();

            for ( int i=0; i<lengthOfData; i++ ) {
                LabeledPoint thisLabelledPoint = new LabeledPoint( theOutputData[i], theInputData[i] );
                thePointList.add(thisLabelledPoint);
            }

            JavaRDD<LabeledPoint> theSparkRDD = spark.parallelize( thePointList );

            SVMModel theInnerModel = SVMWithSGD.train(theSparkRDD.rdd(), numberOfIterations);

            DoubleMatrix weights = new DoubleMatrix( theInnerModel.weights() );


        } catch (Exception e) {
            e.printStackTrace();
        }
        System.exit(0);
    }
}

它到达

行

SVMModel theInnerModel = SVMWithSGD.train(theSparkRDD.rdd(), numberOfIterations);

此时它会破坏以下控制台输出：

Exception in thread "main" java.lang.IncompatibleClassChangeError: class scala.reflect.ManifestFactory$$anon$6 has interface scala.reflect.AnyValManifest as super class
    at java.lang.ClassLoader.defineClass1(Native Method)
    at java.lang.ClassLoader.defineClass(ClassLoader.java:760)
    at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
    at java.net.URLClassLoader.defineClass(URLClassLoader.java:455)
    at java.net.URLClassLoader.access$100(URLClassLoader.java:73)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:367)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:361)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:360)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    at scala.reflect.ManifestFactory$.<init>(Manifest.scala:88)
    at scala.reflect.ManifestFactory$.<clinit>(Manifest.scala)
    at scala.reflect.ClassManifestFactory$.<init>(ClassManifestDeprecatedApis.scala:150)
    at scala.reflect.ClassManifestFactory$.<clinit>(ClassManifestDeprecatedApis.scala)
    at scala.reflect.package$.<init>(package.scala:34)
    at scala.reflect.package$.<clinit>(package.scala)
    at scala.reflect.ClassTag$.<init>(ClassTag.scala:114)
    at scala.reflect.ClassTag$.<clinit>(ClassTag.scala)
    at org.apache.spark.mllib.regression.GeneralizedLinearAlgorithm.run(GeneralizedLinearAlgorithm.scala:139)
    at org.apache.spark.mllib.regression.GeneralizedLinearAlgorithm.run(GeneralizedLinearAlgorithm.scala:123)
    at org.apache.spark.mllib.classification.SVMWithSGD$.train(SVM.scala:133)
    at org.apache.spark.mllib.classification.SVMWithSGD$.train(SVM.scala:173)
    at org.apache.spark.mllib.classification.SVMWithSGD.train(SVM.scala)
    at fiddle.spark.MinimalBugCode.main(MinimalBugCode.java:37)

我发现这些错误消息非常难以理解！我很兴奋，但有相当多的Java经验。

非常感谢提前！
-StackG

PS。顺便说一句，当我在JavaRDD对象上运行调试器时，它出现在调试终端中，我可以向下钻取并查看（标签，功能）的向量，并查看我进一步放入的实际数字，但是标签本身在“数据”属性上说“方法引发了'java.lang.NoSuchMethodError'异常。无法评估scala.collection.JavaConversions $ JListWrapper.toString（）” - 这纯粹是一个整容问题，还是一个更深层次的问题的症状错？

Answer 1

我现在已经解决了我自己的问题，并且认为如果其他人遇到类似的错误，请将其留在这里。

我做了什么：

1）升级到上周发布的最新Spark 1.0.0。我在项目中包含以下库：

org.apache.spark：火花core_2.10：1.0.0
org.apache.spark：火花mllib_2.10：1.0.0

并删除旧的。

2）最初这会产生错误，如下所述：http://spark.apache.org/docs/latest/mllib-guide.html。

我将double []对象调整为Vector，主要是将它们包装在Vectors.dense（...）方法中，而我的JavaRDD＆lt; double []＆gt;对象到JavaRDD＆lt; Vector＆gt;使用

的对象

newRdd = oldRdd.map（r =＆gt; Vectors.dense（r））

3）现在我的JavaSparkContext行引发了一个错误，说＆＃34;签名者信息与同一包中的其他类的签名者信息不匹配＆＃34;。经过一番挖掘，原来是由于旧版本的库，＆＃34; servlet-api-2.5.0.jar＆＃34;那是在我的图书馆目录中。我删除了它并用＆＃34; javax.servlet-api-3.0.1.jar＆＃34;

替换它

在这些更改之后，程序会成功编译并运行，并且似乎正在产生我期望的结果。它还清除了我的附言中提到的其他问题，因为我现在可以看到调试器中的RDD数据和标签正确显示。

我希望这将对未来的某些人有所帮助，并且非常感谢所有一直致力于Spark的开发人员 - 到目前为止，这是一次有趣的体验。

-StackG

使用Java运行Spark SVMModel的困难 - java.lang.IncompatibleClassChangeError

1 个答案: