使用MapReduce的转换步骤生成多个键值对

时间:2015-09-30 11:41:52

标签: mapreduce apache-spark

在MapReduce框架中,Map方法(转换)适用于每个数据点(k,v)以生成新的数据点(k',v')。是否有任何机制来生成一对数据点(k',v')和(k'',v'')?

我正在使用Apache Spark。这里的代码片段:

JavaRDD<String> myrdd = sc.textfile(...);

JavaRDD<String> newrdd = myrdd.map(
                    new Function<String, String>() {

                        public Vector call(String s) {
                            ...
                        }
                    }
                    );

默认情况下,myrddnewrdd的大小相同。但我的目标是在newrdd中为myrdd的每个数据点添加两个条目。怎么可能?

0 个答案:

没有答案