用Reducer计算和矩阵

时间:2013-11-08 04:15:45

标签: hadoop mapreduce

我有一个自定义类MW。 MW得到2个矩阵 - (ke矩阵和val矩阵)。

我试图总结所有进入减速器的矩阵。

所以我需要首先解析我的字符串,然后将它们存储到2个双数组中。 我在减速器中检测所有ke矩阵和val矩阵。

但我无法总结。

任何建议。

为了获得在forloop之外的总和,我宣称它们是静态的。

public class Reducer  extends
Reducer<IntWritable, MW, Text, Text> {  
    static double[][] key;
    static double[][] value;
    public void reduce(IntWritable  keys,
            Iterable<MW> values, Context context)
            throws IOException, InterruptedException {

    for (MW c : values)
    {
        String data = c.toString();
        data = data.trim();
        String[] parts = data.split("#");
            String part1 = parts[0];
            String part2 = parts[1];
        /*
         * Parse key
         */
        String[] keyrows = part1.split(",");

        String[][] keymatrix = new String[keyrows.length][]; 
        int keyr = 0;
        for (String keyrow : keyrows) {
            keymatrix[keyr++] = keyrow.split("\\|");
        }


       double[][] ke = new double[keymatrix.length][keymatrix[0].length];
       for (int i = 0; i<keymatrix.length; i++) {
           for (int j = 0; j<keymatrix[0].length; j++) {
               ke[i][j] = Double.valueOf(keymatrix[i][j]);
        }
       }
      key = new double[ke.length][ke[0].length];

       for(int sumi = 0;sumi<ke.length;sumi++){
           for(int sumj=0;sumj<ke[0].length;sumj++){
               key[sumi][sumj] += ke[sumi][sumj];
           }
       }
    /*Parsing  value
    */      
    String[] valuerows = part2.split(",");

        String[][] valuematrix = new String[valuerows.length][]; 
        int valr = 0;
        for (String valuerow : valuerows) {
            valuematrix[valr++] = valuerow.split("\\|");
        }


       double[][] val = new double[valuematrix.length][valuematrix[0].length];
       for (int i = 0; i<valuematrix.length; i++) {
           for (int j = 0; j<valuematrix[0].length; j++) {
       val[i][j] = Double.valueOf(valuematrix[i][j]);
        }

       }



       //calculating sum for value
        value = new double[val.length][val[0].length];

       for(int sumi = 0;sumi<val.length;sumi++){
           for(int sumj=0;sumj<val[0].length;sumj++){
               value[sumi][sumj] += val[sumi][sumj];
           }
       }
                   }


System.out.println("sum 1");
        for(int diai=0;diai<key.length;diai++){
            for(int diaj=0;diaj<key[0].length;diaj++){
                System.out.print(key[diai][diaj]+"\t");

            }
            System.out.println("");

        }
    System.out.println("sum 2");
        for(int diai=0;diai<value.length;diai++){
            for(int diaj=0;diaj<value[0].length;diaj++){
                System.out.print(value[diai][diaj]+"\t");

            }
            System.out.println("");

        }

更新 我认为问题在于

 key = new double[ke.length][ke[0].length];

value = new double[val.length][val[0].length];

在求和之前我正在重建循环中的矩阵键和值。

它应该在循环之前构建一次,然后添加到它。 但要做到这一点,我应该做

double[][] key = new double[ke.length][ke[0].length];
double[][] value = new double[val.length][val[0].length];

之前

for (MW c : values)
    {

但 如何在for循环之外获得dimensions

1 个答案:

答案 0 :(得分:0)

是的,我解决了这个问题。

我发出了dimensions作为减速器的关键。它奏效了。