如何避免MapReduce中的大型数据结构?

时间:2016-11-01 03:25:10

标签: python arrays hadoop data-structures mapreduce

所以我正在使用hadoop mapreduce和python进行相关算法练习,我有一个问题。

如果我有一个数据集,如{'A','B','C'},我想成对('A','B'),('A','C'),( 'B,C')等,我是否必须使用数组和两个for循环来比较所有元素?有没有办法利用MapReduce的mapper,reducer和partitioner函数来避免使用潜在的大型数据结构?

提前感谢您提供的任何帮助。

0 个答案:

没有答案