Question

我想查找DataTable中的所有行，其中一组列中的每一列都是重复的。我目前的想法是获取出现不止一次的所有行的索引列表，如下所示：

public List<int> findDuplicates_New()
        {
            string[] duplicateCheckFields = { "Name", "City" };
            List<int> duplicates = new List<int>();
            List<string> rowStrs = new List<string>();
            string rowStr;

            //convert each datarow to a delimited string and add it to list rowStrs
            foreach (DataRow dr in submissionsList.Rows)
            {
                rowStr = string.Empty;
                foreach (DataColumn dc in submissionsList.Columns)
                {
                    //only use the duplicateCheckFields in the string   
                    if (duplicateCheckFields.Contains(dc.ColumnName))
                    {
                        rowStr += dr[dc].ToString() + "|";
                    }
                }
                rowStrs.Add(rowStr);
            }

            //count how many of each row string are in the list
            //add the string's index (which will match the row's index)
            //to the duplicates list if more than 1
            for (int c = 0; c < rowStrs.Count; c++)
            {
                if (rowStrs.Count(str => str == rowStrs[c]) > 1)
                {
                    duplicates.Add(c);
                }
            }
            return duplicates;
        }

然而，这不是非常有效：它是O（n ^ 2）遍历字符串列表并获取每个字符串的计数。我看了this solution，但无法弄清楚如何使用超过1个字段。我正在寻找一种更便宜的方法来处理这个问题。

Answer 1

试试这个：

How can I check for an exact match in a table where each row has 70+ columns?

本质上是创建一个用于存储行的哈希值的集合，并且仅在具有冲突哈希值的行之间进行比较，复杂性将为O（n）

...

如果您有大行数并且存储哈希值本身就是一个问题（不太可能的情况，但仍然......），您可以使用Bloom filter。 Bloom过滤器的核心思想是计算每行的several个不同的哈希值，并将它们用作位图中的地址。当您扫描行时，您可以仔细检查已经包含先前设置的位图中所有位的行。

在数据表中查找重复行的更便宜的方法？

1 个答案: