返回日期,但在Apache Hadoop中按名称和值排序

时间:2017-06-21 03:40:46

标签: java hadoop mapper

美好的一天,我不知道我的头衔是否是最好的,但我有这个清单:

201505011000######PEN DRIVE01470
201505011000#######NOTEBOOK11470
201605011000#######NOTEBOOK21471
201705011000#######NOTEBOOK21472
201705011000###GAVETA DE HD01472
201703011000###GAVETA DE HD01473

例如:201505表示年份和月份, 在#符号之后,我有产品名称,价格01470代表14,70

我需要做的是获得每种产品的较低价格,并显示该价格的年份和月份。 但我不知道这样做,我能说的是较低的价格和产品。

这是我的计划: 的 MAPPER

package pkg.produto;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

public class MinProdutoMapper
        extends Mapper<LongWritable, Text, Text, IntWritable> {
    @Override
    public void map(LongWritable key, Text value, Context context)
            throws IOException, InterruptedException {
        String line = value.toString();
        String ano = line.substring(0, 6);
        String produto = line.substring(13, 27);//Nome do produto
        produto = produto.substring(produto.lastIndexOf("#") + 1);
        //String produto_ano = ano+produto ;
        int valor = Integer.parseInt(line.substring(27, 32));//Valor do produto
        context.write(new Text(produto), new IntWritable(valor));
    }
}

减速器

package pkg.produto;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

public class MinProdutoReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
    @Override
    public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        int minValue = Integer.MAX_VALUE;
        for (IntWritable value : values) {
            minValue = Math.min(minValue, value.get());
        }
        context.write(key, new IntWritable(minValue));
    }
}

有人可以帮忙吗?

1 个答案:

答案 0 :(得分:-1)

您可以查看辅助排序,然后修改解决方案。这是一个代码示例链接,可以帮助您解决问题。 secondary-sort

相关问题