Question

我有2个集合，一个是'list'，另一个是'pairRdd2'，其中包含如下所述的数据。

我正在尝试使用containsAll应用过滤器，如果mypairRdd2包含列表中提到的所有值。预期结果是joe，{US，UK}

List<String> list = Arrays.asList("US","UK");

JavaRDD pairRdd = ctx.parallelize(Arrays.asList(new Tuple2("john","US"),new Tuple2("john","UAE"),new Tuple2("joe","US"),new Tuple2("joe","UK")));

JavaPairRDD<String, String> pairRdd2 = JavaPairRDD.fromJavaRDD(pairRdd);

pairRdd2.groupByKey().filter(x-> Arrays.asList(x._2).containsAll(list)).foreach(new VoidFunction<Tuple2<String,Iterable<String>>>() {

    @Override
    public void call(Tuple2<String, Iterable<String>> t) throws Exception {
        System.out.println(t._1());             
    }
});

有人可以突出我做错了什么......

Answer 1

问题在于Arrays.asList()。这会创建一个Iterable的列表，这不是执行过滤器所需的。您应该使用groupBy本身给出的列表：

    pairRdd2.groupByKey().filter(f -> {
        Set<String> set = new HashSet<>();
        for(String s: f._2())
            set.add(s);

        return list.containsAll(set);
    });

您也可以找到一种将迭代/迭代器转换为集合的快速方法，并完全避免循环。

如何使用containsAll过滤器并包含在javapairrdd

1 个答案: