Question

我正在扫描某些目录中的项目。我刚刚阅读了Multithreaded Directory Looping in C#问题，但我仍然想将其设为多角度。即使每个人都说驱动器将成为瓶颈，但我还是要指出几点：

驱动器可能大多是“单线程”的，但是您如何知道它们将来会带来什么？
您如何知道要扫描的不同子路径是同一物理驱动器？
我在System.IO上使用了一个抽象层（甚至两个），以便以后可以在不同的场景中重用代码。

所以，我的第一个想法是使用 Task ，第一个虚拟实现是这样：

public async Task Scan(bool recursive = false) {
    var t = new Task(() => {
        foreach (var p in path.scan) Add(p);
        if (!recursive) return;
        var tks = new Task[subs.Count]; var i = 0;
        foreach (var s in subs) tks[i++] = s.Scan(true);
        Task.WaitAll(tks);
    }); t.Start();
    await t;
}

我不喜欢为每个项目创建一个Task的想法，通常这似乎并不理想，但这只是为了进行测试，因为任务被宣传为自动管理线程... < / p>

此方法有效，但速度很慢。完成上述过程需要花费 5s ，而下面的单个受威胁版本则需要花费 0.5s 才能在同一数据集上完成整个程序：

public void Scan2(bool recursive = false) {
    foreach (var p in path.scan) Add(p);
    if (!recursive) return;
    foreach (var s in subs) s.Scan2(true);
}

我徘徊了拳头方法到底出了什么问题。机器没有负载，CUP使用率微不足道，驱动器还不错...我尝试使用NProfiler对其进行性能分析，除了程序始终位于Task.WaitAll(tks)之外，它并没有告诉我什么。

我还编写了一个线程锁定计数机制，该机制在添加每个项目时都会调用。也许是问题所在？

#region SubCouting
public Dictionary<Type, int> counters = new Dictionary<Type, int>(); 
private object cLock = new object();
private int _sc = 0;
public int subCount => _sc;
private void inCounter(Type t) {
    lock (cLock) {
        if (!counters.ContainsKey(t)) counters.Add(t, 1);
        counters[t]++;
        _sc++;
    }
    if (parent) parent.inCounter(t);
}
#endregion

但是，即使线程在这里等待，执行时间也不会比单线程版本慢10倍吗？

我不确定该如何处理。如果我不想使用任务，是否需要手动管理线程，或者是否已经有一些适合该工作的库？

Answer 1

我想你差不多了。 Task.WaitAll(tks)是问题所在。您为此阻塞了一个线程，因为这是同步操作。您很快就会退出线程，所有线程都在等待一些没有线程可运行的任务。您可以使用异步解决此问题，用await Task.WhenAll(...)代替等待。等待时它将释放线程。有了一些工作量，多线程版本明显更快。当只有IO绑定时，它大致相等。

ConcurrentBag<string> result = new ConcurrentBag<string>();
List<string> result2 = new List<string>();

public async Task Scan(string path)
{
    await Task.Run(async () =>
    {
        var subs = Directory.GetDirectories(path);
        await Task.WhenAll(subs.Select(s => Scan(s)));

        result.Add(Enumerable.Range(0, 1000000).Sum(i => path[i % path.Length]).ToString());
    });
}

public void Scan2(string path)
{
    result2.Add(Enumerable.Range(0, 1000000).Sum(i => path[i % path.Length]).ToString());

    var subs = Directory.GetDirectories(path);
    foreach (var s in subs) Scan2(s);
}

private async void button4_Click(object sender, EventArgs e)
{
    string dir = @"d:\tmp";

    System.Diagnostics.Stopwatch st = new System.Diagnostics.Stopwatch();
    st.Start();
    await Scan(dir);
    st.Stop();
    MessageBox.Show(st.ElapsedMilliseconds.ToString());

    st = new System.Diagnostics.Stopwatch();
    st.Start();
    Scan2(dir);            
    st.Stop();
    MessageBox.Show(st.ElapsedMilliseconds.ToString());

    MessageBox.Show(result.OrderBy(x => x).SequenceEqual(result2.OrderBy(x => x)) ? "OK" : "ERROR");
}

C＃使用多个线程递归扫描树

1 个答案: