Question

我有一个包含6列的txt文件，我对第三和第四列，城市和产品感兴趣，这里有一个示例：

2015-01-01; 09:00:00;纽约;鞋子; 214.05; Amex＆gt;

我需要通过City获得最大销量的产品。我已经有代码来按城市聚集和统计所有产品，这里是类映射器和类缩减器的代码：

＆＃13;

import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class ContaMaxCidadeProdutoMapper extends Mapper<Object, Text, Text, IntWritable> {

	private final static Text cidadeproduto = new Text();
	private final static IntWritable numeroum = new IntWritable(1);

	public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
		
		String[] linha=value.toString().split(";");		
		cidadeproduto.set(linha[2] +" "+linha[3]);
		context.write(cidadeproduto, numeroum);		
	}
}

＆＃13;

import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

public class ContaMaxCidadeProdutoReducer extends	Reducer<Text, IntWritable, Text, IntWritable> {
	
	public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
		int contValue = 0;
		
		for (IntWritable value : values) {
			contValue += value.get();
		}
		
		context.write(key, new IntWritable(contValue));
	}
}

＆＃13;

它正确地按城市计算每个产品的数量，但现在我需要按城市获得最大数量的产品。我知道如何获得整个数据集的最大计数产品，但我不知道如何通过City获得它。我很感激任何提示！感谢

Answer 1

您想获得按城市划分的最大数量的产品。在我看来，你希望每个城市都有产品，在那个特定的城市有最大的销售额，不是吗？

我宁愿用2对M-R做。第一对与你的相似：

public void map(Object key, Text value, Context context) {
    String[] linha = value.toString().split(";");       
    cidadeproduto.set(linha[2] + "&" + linha[3]);
    context.write(cidadeproduto, new IntWritable(1));       
}

public void reduce(Text key, Iterable<IntWritable> values, Context context){
    int contValue = 0;

    for (IntWritable value : values) {
        contValue += value.get();
    }
    context.write(key, new IntWritable(contValue));
}

第二对。
映射器将重新组合您的数据，以便城市成为关键，产品和计数将是一个值：

public void map(Object key, Text value, Context context) {
    String[] row = value.toString().split(";");
    String city = row[0].split("&")[0];
    String product = row[0].split("&")[1];
    String count = row[1];
    context.write(new Text(city), new Text(product + "&" + count));     
}

然后，reduce将保持每个城市的最大值：

public void reduce(Text key, Iterable<Text> values, Context context){
    int maxVal = Integer.MIN_VALUE;
    String maxProd = "None";

    for (IntWritable value : values) {
        String ss = value.toString().split("&");
        int cnt = Integer.parseInt(ss[1]);
        if(cnt > maxVal){
            maxVal = cnt;
            maxProd = ss[0];
        }
    }
    context.write(key, new Text(maxProd));
}

Answer 2

我将首先解释map / reduce的基本原理，其中有两个基本部分：

地图：将您的原始输入转换为您可以使用的值（在您的情况下，城市/产品对和数字）
减少：对于每个城市/产品对，将所有数字相加。

在您当前的应用程序中，无论输入是什么，您都选择了数字1。对一堆1进行求和与计算它们具有相同的效果。

相反，您需要将其映射到另一个值，方法是从输入字符串中提取它并将其解析为Double，然后将其发送到numeroum。

如何在java mapreduce hadoop

2 个答案: