Question

我正在用java编写一个程序来获取一个非常大的字符串中的单词统计信息（字符串s <= 100000）。这应该花费不到1秒钟，并使用少于16 MB的内存。

import java.util.Scanner;
class Main{
 public static void main(String[] args){


  Scanner sc = new Scanner(System.in);
  String t = sc.nextLine();
  int i=0;
  while(t.charAt(i)==' ') i++;
  t = t.substring(i);
  String[] s = t.split(" +");

  RecString[] stat  = new RecString[s.length];
  for(i=0; i<s.length;i++){
    stat[i] = new RecString("");  
  }
  int j=0;
  for(i=0; i<s.length;i++){
    int f=0;
    for(int h =0; h<stat.length; h++){
     if(stat[h].word.equals(s[i])){
       f = 1;
       stat[h].count++;
       break;
     }
    }
    if(f==0){
      stat[j] = new RecString(s[i]);
      j++;
    }
  }
  for(i=0;i<=j;i++){
   if(stat[i].word != ""){
      System.out.println(stat[i].word+" "+(stat[i].count));
   }
  }


 }
}

class RecString{
    public  String word;
    public  int count;

    public RecString(String s){
        word = s;
        count = 1;
    }

}

此代码适用于长度为＆lt; = 255的字符串但对于大字符串，我有时间或/和内存限制。

请帮助我优化我的程序

Answer 1

如果你关心记忆，你会想尽可能地尝试流。

请参阅http://docs.oracle.com/javase/6/docs/api/java/io/StreamTokenizer.html

StreamTokenizer tokenizer = new StreamTokenizer(new InputStreamReader(System.in));

while(tokenizer.nextToken() != StreamTokenizer.TT_EOF){

    if(tokenizer.ttype == StreamTokenizer.TT_WORD) {
        // found a word.
        System.out.println(tokenizer.sval);
    }
}

当然，如果内存不是问题，速度是你唯一关心的问题，Hadoop有一个很好的单词计数示例：http://wiki.apache.org/hadoop/WordCount。但保存下来，以备不时之需的学习。

你的计算单词的逻辑也不适合效率（O(N)）。 @DaveNewton是对的，您可能应该使用Map<String,Integer>来O(1)，而不是RecString数组。我不打算纠正你的意见，因为我认为这是一个很好的练习。

通过长字符串中的单词进行Java统计

1 个答案: