我有一个JavaPairRDD表示文件中每个单词的计数。我想找到这个RDD的最大值只是作为一个练习(我意识到有一个功能)。
所以我写了下面的代码
Tuple2<String,Integer> max = counts.reduce(new Function2<Tuple2<String,Integer>,Tuple2<String,Integer>,Tuple2<String,Integer>>(){
public Tuple2<String,Integer> call(Tuple2<String,Integer> a,Tuple2<String,Integer> b) {
if(a._2>b._2) {
return a;
}
return b;
}
});
这给了我一个NoSuchMethodException,所以我想知道减少这样一个RDD的正确方法是什么。
编辑:这是整个错误
./spark-submit --class sparkApp --master spark://url simpleApp.jar
Spark assembly has been built with Hive, including Datanucleus jars on classpath
Exception in thread "main" java.lang.ClassNotFoundException: sparkApp
at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:270)
at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:300)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:55)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
感谢。