Question

这是我的代码：

public class WordCount {

public static class TokenizerMapper extends Mapper<LongWritable, Text, Text, IntWritable> {

private final static IntWritable one = new IntWritable(1);
private Text word = new Text();

public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
   StringTokenizer itr = new StringTokenizer(value.toString());
    int j = 1, count = 0, i=0;
  while (itr.hasMoreTokens()) {

    if(j == 1)
    {
    itr.nextToken();
    j++;
    }
    else if (j == 2)
    {
    count = Integer.parseInt(itr.nextToken());
    j++;
    }
    else
    {
    for (i=1;i<=count;i++)
    {
    word.set(itr.nextToken());
    context.write(word, one);
    }
    j=1;
    }       
  }

}
}

public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> {
private IntWritable result = new IntWritable();

public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
  int sum = 0;
  for (IntWritable val : values) {
    sum += val.get();
  }
  result.set(sum);
  context.write(key, result);
}
}

当我运行它为35.4GB文件和64位大小的数据集时，它显示以下错误：

Error: java.lang.NumberFormatException: For input string: "9267242563148306650"

此外，添加BigInteger后出现以下错误：

代码中完成的更改：

public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
   StringTokenizer itr = new StringTokenizer(value.toString());
    int j = 1, i=0;
    int c;
    BigInteger count = new BigInteger("0");
  while (itr.hasMoreTokens()) {

    if(j == 1)
    {
    itr.nextToken();
    j++;
    }
    else if (j == 2)
    {
    count = new BigInteger(itr.nextToken());
    j++;
    }
    else
    {
    c=count.intValue();
    for (i=1;i<=c;i++)
    {
    word.set(itr.nextToken());
    context.write(word, one);
    }
    j=1;
    }       
  }

ERROR1： java.util.NoSuchElementexception（主要是通过stringtokenizer）

误差2： java.lang.NumberFormatException

如何解决此问题？谢谢！

Answer 1

您有一个整数溢出（int和long变量有界，请参阅以下link以获取更多详细信息），您必须使用BigInteger类来处理这么大的变量号。

Answer 2

Java long是一个带符号的64位整数，因此它可以适合63位的数字。 int是32位。

问题是9267242563148306650不适合63位，但仍然是31位。因此，当您尝试解析数字时，它只是不适合。您需要使用BigInteger之类的东西来存储值。

处理具有64位数据集的大数据文件的修改的wordcount java程序时的异常

2 个答案: