Question

尝试从列表中删除重复项，其中重复项是第一个，第二个或两个属性相等时（在列表中出现多次）。使用MoreLINQ，下面的代码正在运行：

var list = new List<LinqTest> // LinqTest: object containing 2 strings
{
    // are ok
    new LinqTest { Str1 = "a1", Str2 = "b1"},
    new LinqTest { Str1 = "a2", Str2 = "b2"},
    new LinqTest { Str1 = "a3", Str2 = "b3"},
    new LinqTest { Str1 = "a5", Str2 = "b5"},
    new LinqTest { Str1 = "a6", Str2 = "b6"},
    new LinqTest { Str1 = "x1", Str2 = "y1"},
    new LinqTest { Str1 = "y1", Str2 = "x1"},

    // must be removed
    new LinqTest { Str1 = "d1", Str2 = "b4"},
    new LinqTest { Str1 = "d1", Str2 = "d2"},
    new LinqTest { Str1 = "d1", Str2 = "d2"},
    new LinqTest { Str1 = "a4", Str2 = "d2"},
    new LinqTest { Str1 = "d3", Str2 = "b7"},
    new LinqTest { Str1 = "d3", Str2 = "b8"},
    new LinqTest { Str1 = "d3", Str2 = "b8"},
};

var duplicatesStr1 = list
    .GroupBy(x => x.Str1)
    .Where(x => x.Count() > 1)
    .SelectMany(x => x)
    .ToList();

var duplicatesStr2 = list
    .GroupBy(x => x.Str2)
    .Where(x => x.Count() > 1)
    .SelectMany(x => x)
    .ToList(); ;

var res = list
    .ExceptBy(duplicatesStr1, x => x.Str1)
    .ExceptBy(duplicatesStr2, x => x.Str2);

var rem = duplicatesStr1
    .Union(duplicatesStr2)
    .DistinctBy(x => new { x.Str1, x.Str2})
    .ToList();

Console.WriteLine("----------");
foreach (var linqTest in res)
{
    Console.WriteLine("keep> " + linqTest.Str1 + "-" + linqTest.Str2);
}

Console.WriteLine("----------");
foreach (var linqTest in rem)
{
    Console.WriteLine("remove> " + linqTest.Str1 + "-" + linqTest.Str2);
}

问题： 是否有更有效和/或更短的方法来实现这一目标？

Answer 1

您可以使用.Distinct LINQ方法执行此操作。您必须定义自定义IEqualityComparer以确定何时将两个元素视为不同。

public class MyComparer : IEqualityComparer<LinqTest>
{
    public bool Equals(LinqTest x, LinqTest y)
    {
        return x.Str1 == y.Str1 || x.Str2 == y.Str2;
    }

    public int GetHashCode(LinqTest obj)
    {
        return 0;
    }
}

然后你可以写：

List<LinqTest> noDuplicates = originalList.Distinct(new MyComparer()).ToList();

棘手的部分是正确实施IEqualityComparer（我第一次没有这样做！）。 GetHashCode()必须为两个被认为相等的对象返回相同的值。由于我们的平等概念不具有传递性，因此满足此要求的唯一方法是返回一个常量值。这是允许的，但是破坏了哈希码的目标，这是加速等式检查的一种方式：如果哈希码不同，则对象必须不同，而不需要更昂贵的＃34;深度＆＃34;比较。

因此，此代码有效，但无法实现最高性能。

Answer 2

这是另一种使用标准LINQ ToDictionary（）方法删除基于属性比较的重复项的方法。创建一个字典，累积整个列表中的匹配计数，并为具有单个匹配的字符过滤生成的字典。

        list = list.ToDictionary(
                test => test,
                test => list.Count(item => item.Str1 == test.Str1 || item.Str2 == test.Str2)
            ).Where(pair => pair.Value == 1)
            .Select(pair => pair.Key)
            .ToList();

更好的方法是在单独的类中创建扩展方法，并将唯一属性比较逻辑推送到那里。

internal static class EnumerableExtensions
{
    public static IEnumerable<T> Unique<T>(
        this IEnumerable<T> sequence,
        Func<T, T, bool> match)
    {
        var list = sequence.ToList();
        return list
            .ToDictionary(arg => arg, arg => list.Count(item => match(item, arg)))
            .Where(pair => pair.Value == 1)
            .Select(pair => pair.Key);
    }
}

作为扩展方法暴露将导致方法签名：

list = list.Unique((a, b) => a.Str1 == b.Str1 || a.Str2 == b.Str2).ToList();

Answer 3

您可以通过首先获取第一个和第二个属性的所有值多次进行两次传递，然后对其进行过滤。您需要为每个属性设置2个哈希集。第一个是跟踪是否至少看过一次值。如果它至少被看到一次，那么它被添加到第二个哈希集。因此，为每个属性生成一个哈希集，该哈希集仅包含重复的值。然后只过滤掉任何一个哈希集中的任何项目。

HashSet<string> hash1Once = new HashSet<string>();
HashSet<string> hash1More = new HashSet<string>();
HashSet<string> hash2Once = new HashSet<string>();
HashSet<string> hash2More = new HashSet<string>();

foreach(var item in list){
    if(!hash1Once.Add(item.Str1))
        hash1More.Add(item.Str1);
    if(!hash2Once.Add(item.Str2))
        hash2More.Add(item.Str2);
}

var unique = list.Where(x => !hash1More.Contains(x.Str1) && !hash2More.Contains(x.Str2))
    .ToList();

C＃ - 有没有更好的方法来删除List中多个属性的重复值？

3 个答案: