Question

public class TestArticles {

public static void handlewords() throws IOException {

    String path = "C:\\Features.txt";
    String path1 = "C:\\train.txt";
    String path2 = "C:\\test.txt";

    File file = new File(path2);
    PrintWriter pw = new PrintWriter(file);


    Features ft = new Features();
    String content = ft.readFile(path);
    String [] words = content.split(" ");

    FileReader fr = new FileReader(path1);  
    BufferedReader br = new BufferedReader(fr);
    String line = null;
    while ((line = br.readLine()) != null) {       
    String [] word = line.split(" ");

    List<String> list1 = new ArrayList<String>(words.length);
    List<String> list2 = new ArrayList<String>(word.length);

   for(String s: words){
       list1.add(s);
       HashSet set = new HashSet(list1);
       list1.clear();
       list1.addAll(set);
    }

     for(String x: word){
        list2.add(x);
        HashSet set = new HashSet(list2);
            list2.clear();
            list2.addAll(set);
    }

   boolean first = true;
   pw.append("{");
    for(String x: list1){
        for(String y: list2){
            if(x.equalsIgnoreCase(y)){
                if(first){
                   first = false; 
                } else {
                    pw.append(",");
                }
              pw.append(list1.indexOf(x) + 39 +" "+ "1");
            }
        }       
    }
       pw.append("}");
       pw.append("\r\n");
       pw.flush();   
    }
     br.close();
     pw.close();

}

我的输出文件类似于：

{23 1,35 1,56 1,56 1，...}
{2 1,4 1,7 1，...}

第一行有些数据重复，第二行所有数据按顺序没有重复数据。如何删除这些重复数据？我已经使用过hashset，但它没有用。

Answer 1

list1和list2中的项目是唯一的，但区分大小写。因此，您可能包含man和Man中的项目。但是在你的上一个循环中你使用x.equalsIgnoreCase(y)，并且"man".equalsIgnoreCase("man")和"man".equalsIgnoreCase("MAn")都是真的，那就是重复出现的方式。

有几种方法可以解决这个问题：

构建list1和list2时，小项目
或者，使用TreeSet代替HashSet，使用忽略大小写的比较器
将x.equalsIgnoreCase(y)更改为x.equals(y)

Answer 2

尝试在Hashsets上覆盖等于，如下所示：

HashSet set = new HashSet(list1){
    public boolean equals(Object o) {
        return this.toString().equals(o.toString());
    };
};

如何删除arraylist java中的重复数据

2 个答案: