Question

我正在尝试优化将大量小文件创建到SSD磁盘的性能。

ConcurrentBag<string[]> cb = new ConcurrentBag<string[]>();
cb.AsParallel().ForAll(fa => File.WriteAllText(fa[0], fa[1]));

ConcurrentBag<string[]> = 80048，cb.Sum(gbc => Encoding.UTF8.GetByteCount( gbc[1] ) );的总计数返回393441217字节。

在其他地方我做xml.Save();，创建一个~750MB的文件。

第一种情况需要3分30秒才能完成。第二个20秒。

我知道处理所有单独的写操作有一些开销，但3分30秒似乎仍然有点长。我已经尝试了与forall的并行化，这有助于相当不错（在此之前需要6-8分钟才能完成）。我可以在代码中添加哪些其他修改来优化批量文件创建的性能？

Answer 1

实际上，多个同步IO操作可能会使事情变得非常缓慢，特别是在传统磁盘上。我建议使用ConcurrentQueue来编写多个文件。

此外，您可以切换到StreamWriter并控制缓冲区大小以提高写入速度：

    ConcurrentQueue<string[]> concurrentQueue = new ConcurrentQueue<string[]>();

    // populate with some data
    for (int i = 0; i < 5000; i++)
    {
        concurrentQueue.Enqueue(new string[] { Guid.NewGuid().ToString(), Guid.NewGuid().ToString() });
    }

    while (true)
    {
        string[] currentElement;
        bool success = concurrentQueue.TryDequeue(out currentElement);
        if (success)
        {
            const int BufferSize = 65536;  // change it to your needs
            using (var sw = new StreamWriter(currentElement[0], true, Encoding.UTF8, BufferSize))
            {
                sw.Write(currentElement[1]);
            }
        }
    }

Answer 2

你也应该尝试使用ForEach而不是ForAll。你可以在帖子http://reedcopsey.com/2010/02/03/parallelism-in-net-part-8-plinqs-forall-method/

中找到一些很好的理由

帖子指南是

ForAll扩展方法只应用于处理并行查询的结果，由PLINQ表达式返回

如何优化C＃并发文件写入性能

2 个答案: