Question

我正在用2个mapper类和一个reducer编写MapReduce代码，但我不知道为什么我有一个reduce输出记录= 0。请告诉我如何解决这个问题

package reducesidejoin;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;
import java.util.Iterator;

    public class ReduceSideJoinReducer extends Reducer<IntWritable,
            Text, IntWritable, Text> {
        @Override
        public void reduce(IntWritable key, Iterable<Text> values,
                           Context context) throws IOException, InterruptedException {
            String output = null;
            Text achat;
            Text vins;
            Text valeur2;
            Text valeur1;
            Iterator<Text> itr = values.iterator();
            valeur1 = itr.next();
            if (valeur1.charAt(0) == 1) {
                vins = valeur1;
                while (itr.hasNext()) {
                    valeur2 = itr.next();
                    if (valeur2.charAt(0) == 2) {
                        achat = valeur2;
                        output = vins.toString() + achat.toString();
                        context.write(key, new Text(output));
                    }
                    context.write(key, new Text(output));
                }
            } else if (valeur1.charAt(0) == 2) {
                achat = valeur1;
                while (itr.hasNext()) {
                    valeur2 = itr.next();
                    if (valeur2.charAt(0) == 1) {
                        vins = valeur2;
                        output = vins.toString() + achat.toString();
                        System.out.println(key + "," + output);
                    }
                    context.write(key, new Text(output));
                }
            }
        }
    }

Answer 1

减速器输出任何东西的唯一方法是你的字符比较是否有效。这假设你实际上有记录进入你的减速器。

我会看看这些行：valeur1.charAt(0) == 1

您正在将整数与char进行比较，我怀疑您正在寻找1的可打印值（如果您进行了整数比较，则为49），因此您可能需要：

valeur1.charAt(0) == '1'

你也经常这么做 - vins = valeur1;这会导致问题，因为hadoop会重用Text通过Iterable给你的vins.set(valeur1);个对象。

您应将这些更改为public function generateEntities(Request $request, $number) { set_time_limit(0); // set to zero, no time limit is imposed

hadoop：减少输出记录= 0

1 个答案: