java火花地图功能

Question

我有一个需要在我的spark应用程序中单独定义的map函数

public final class App {
  private static final Pattern SPACE = Pattern.compile(" ");

  public static void main(String[] args) throws Exception {

    SparkSession spark = SparkSession
      .builder()
      .master("local[*]")
      .appName("JavaWordCount")
      .getOrCreate()      
      ;
    System.out.println("hello");
    JavaSparkContext jsc = new JavaSparkContext(spark.sparkContext());
    List<String> data = new ArrayList<>(5);
    data.add("test.jpg");    
    JavaRDD<String> rdd = jsc.parallelize(data);
    rdd.map(tf_func);

    spark.stop();
  }
  public static String tf_func(){
      return "Hello";

  }
}

上述代码无法识别定义的函数。

Answer 1

JavaRDD.map会占用Function个对象。

 static <R> JavaRDD<R>  map(Function<T,R> f) 

您无法传递任意方法并期望它能够正常工作。