Spark Java中的MapPartition

Question

我有一个JavaRDD。我正在尝试做一个mapPartition并将每个分区的每一行传递给一个以String为参数的函数。

rdd.mapPartitions((Iterator<String> iter) -> {
            Dummy dummy = new Dummy();
            Iterable<String> iterable = () -> iter;
            return StreamSupport.stream(iterable.spliterator(), false)
                    .map(s -> dummy.method(s)) // or whatever transformation
                    .iterator();
        });

但是我无法在地图中调用我的类函数（dummy.method）。我该如何解决？

Answer 1

在流内的地图内移动Dummy dummy = new Dummy();。