在MapReduce框架中,Map方法(转换)适用于每个数据点(k,v)以生成新的数据点(k',v')。是否有任何机制来生成一对数据点(k',v')和(k'',v'')?
我正在使用Apache Spark。这里的代码片段:
JavaRDD<String> myrdd = sc.textfile(...);
JavaRDD<String> newrdd = myrdd.map(
new Function<String, String>() {
public Vector call(String s) {
...
}
}
);
默认情况下,myrdd
和newrdd
的大小相同。但我的目标是在newrdd
中为myrdd
的每个数据点添加两个条目。怎么可能?