Question

我正在编写一个读取文本文件的代码（每一行都是一条推文）并通过每条推文将其与英文单词列表进行比较，以查看该单词是否拼写错误。

因此，从文本文件中读取英语单词列表，然后将其存储在列表中。当我单独运行代码时，它在不到一秒的时间内运行。当我运行代码将每个单词存储在推文文件中（不检查拼写）的1,000,000条推文时，它会在大约20-30秒内将每个单词及其频率存储在HashMap<String, Integer>中。

但是当我添加一行来检查单词是否拼写正确时，会导致一个荒谬的运行时间增加，直到我可以在它完成运行之前看电影。

调用isSpelledCorrectly(X)的简单方面（它只调用list.contains(x)，它的运行时间最差为O（n）），但它似乎很混乱，导致代码进入从30秒运行时间到50分钟运行时间？

代码：

拼写：

static List<String> spellCheck = new ArrayList<String>();

public AssignTwo() throws IOException{
    spellCheck = initCorrectSpelling("C:\\Users\\Gregs\\InfoRetrieval\\src\\english-words");
}

public static List<String> initCorrectSpelling(String filename) throws IOException { //store correct spelling of words in list
    Scanner scanner = new Scanner(new FileInputStream(filename));
    try{
        while(scanner.hasNextLine()){
            String next = scanner.nextLine();
            spellCheck.add(next);
        }
    }
    finally{
        scanner.close();
    }
    return spellCheck;
}

public static boolean isSpelledCorrectly(String word){  //check if any given word is spelled correctly by seeing if it is 
    boolean output = false;                             //contained within the spellCheck list
    if(spellCheck.contains(word)) output = true;                    
    return output;
}

代码存储推文：

public static HashMap<String, Integer> misSpell;
public AssignOne() throws IOException {         //read in file from path, test functions
    index("C:\\Users\\Gregs\\InfoRetrieval\\src\\tweets");
}

public static void index(String filename)  throws IOException {
    misSpell = new HashMap<String, Integer>();
    Scanner scanner = new Scanner(new FileInputStream(filename));
    try{
        while(scanner.hasNextLine()){
            String line = scanner.nextLine();       
            String[] lineArr = line.split(" ");
            for(int i=3; i<lineArr.length; i++){
                int count=1;
                lineArr[i] = lineArr[i].replaceAll("[^a-zA-Z0-9]", "");
                //if(!AssignTwo.isSpelledCorrectly(lineArr[i].toLowerCase())){  //with this line commented out, runtime <30sec, with line >50mins
                    if(misSpell.containsKey(lineArr[i].toLowerCase())){             
                        count = 1 + misSpell.get(lineArr[i].toLowerCase());             
                    }
                    misSpell.put(lineArr[i].toLowerCase(), count);
                //}
            }
        }
    } 
    finally{
        scanner.close();
    }
}

关于在何处改进代码或如何使比较更有效的任何建议？正确拼写的单词是否有更快的数据结构？

Answer 1

List.contains()是O（N），N是字典中的单词数。

使用HashSet，其中contains()为O（1）。

使用缓冲读卡器也可以加快速度。并且避免在每个单词上调用toLowerCase（）三次。

比较一个数据结构与另一个数据结构导致运行时间超过50分钟

1 个答案: