找出2个集合与40K对象的差异

时间:2013-01-08 18:20:43

标签: c# linq plinq

我有两个集合都包含相同类型的对象,两个集合各有大约40K对象。

每个集合包含的对象的代码基本上就像一个字典,除了我重写了equals和hash函数:

public class MyClass: IEquatable<MyClass>
{
    public int ID { get; set; }
    public string Name { get; set; }

    public override bool Equals(object obj)
    {
        return obj is MyClass && this.Equals((MyClass)obj);
    }

    public bool Equals(MyClass ot)
    {
        if (ReferenceEquals(this, ot))
        {
            return true;
        }

        return 
         ot.ID.Equals(this.ID) &&
         string.Equals(ot.Name, this.Name, StringComparison.OrdinalIgnoreCase); 
    }

    public override int GetHashCode()
    {
         unchecked
         {
             int result = this.ID.GetHashCode();
             result = (result * 397) ^ this.Name.GetSafeHashCode();
             return result;
         }
    }
}

我用来比较集合并获得差异的代码只是使用PLinq的简单Linq查询。

ParallelQuery p1Coll = sourceColl.AsParallel();
ParallelQuery p2Coll = destColl.AsParallel();

List<object> diffs = p2Coll.Where(r => !p1Coll.Any(m => m.Equals(r))).ToList();

有人知道比较这么多物体的更快方法吗?目前在四核计算机上花费大约40秒+/- 2秒。是否会根据数据进行一些分组,然后并行比较每组数据可能会更快?如果我首先根据名称对数据进行分组,我最终会得到大约490个唯一对象,如果我先按ID分组,我最终会得到大约622个唯一对象。

2 个答案:

答案 0 :(得分:15)

您可以使用Except方法为p2Coll中不属于p1Coll的{​​{1}}项提供每个项目。

var diff = p2Coll.Except(p1Coll);

更新(某些性能测试):

免责声明:

实际时间取决于多种因素(例如集合的内容,硬件,计算机上运行的内容,哈希码冲突的数量等),这就是为什么我们有复杂性和Big O表示法(参见DanielBrückner评论)。

以下是我4岁机器上10次跑步的性能统计数据:

Median time for Any(): 6973,97658ms
Median time for Except(): 9,23025ms
我的测试的

Source code可以在要点上找到。


更新2:

如果您想要同时收集第一个和第二个集合中的不同项目,则必须在Expect上同时执行Union结果:

var diff = p2Coll.Except(p1Coll).Union(p1Coll.Except(p2Coll));

答案 1 :(得分:0)

Intersect

int[] id1 = { 44, 26, 92, 30, 71, 38 };
int[] id2 = { 39, 59, 83, 47, 26, 4, 30 };

IEnumerable<int> both = id1.Intersect(id2);

foreach (int id in both)
    Console.WriteLine(id);

/*
This code produces the following output:

26
30
*/