如何减少JavaPairRDD

时间:2014-08-05 00:43:07

标签: apache-spark

我有一个JavaPairRDD表示文件中每个单词的计数。我想找到这个RDD的最大值只是作为一个练习(我意识到有一个功能)。

所以我写了下面的代码

Tuple2<String,Integer> max = counts.reduce(new Function2<Tuple2<String,Integer>,Tuple2<String,Integer>,Tuple2<String,Integer>>(){
        public Tuple2<String,Integer> call(Tuple2<String,Integer> a,Tuple2<String,Integer> b) {
            if(a._2>b._2) {
                return a;
            }
            return b;
        }
    });

这给了我一个NoSuchMethodException,所以我想知道减少这样一个RDD的正确方法是什么。

编辑:这是整个错误

./spark-submit --class sparkApp --master spark://url simpleApp.jar
Spark assembly has been built with Hive, including Datanucleus jars on classpath
Exception in thread "main" java.lang.ClassNotFoundException: sparkApp
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:270)
    at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:300)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:55)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

感谢。

0 个答案:

没有答案