Question

我开始做以下事情：

using (TextWriter textWriter = new StreamWriter(filePath, append))
{
    foreach (MyClassA myClassA in myClassAs)
    {
        textWriter.WriteLine(myIO.GetCharArray(myClassA));

        if (myClassA.MyClassBs != null)
            myClassA.MyClassBs.ToList()
                .ForEach(myClassB =>
                    textWriter.WriteLine(myIO.GetCharArray((myClassB)));

        if (myClassA.MyClassCs != null)
            myClassA.MyClassCs.ToList()
                .ForEach(myClassC =>
                    textWriter.WriteLine(myIO.GetCharArray(myClassC)));
    }
}

这似乎很慢（35,000行约35秒）。

然后我尝试按照示例here创建一个缓冲区，使用以下代码，但它没有获得任何东西。我仍然看到大约35秒的时间。我是如何实现缓冲区的？

using (TextWriter textWriter = new StreamWriter(filePath, append))
{
    char[] newLineChars = Environment.NewLine.ToCharArray();
    //Chunk through 10 lines at a time.
    int bufferSize = 500 * (RECORD_SIZE + newLineChars.Count());
    char[] buffer = new char[bufferSize];
    int recordLineSize = RECORD_SIZE + newLineChars.Count();
    int bufferIndex = 0;

    foreach (MyClassA myClassA in myClassAs)
    {
        IEnumerable<IMyClass> myClasses =
            new List<IMyClass> { myClassA }
                .Union(myClassA.MyClassBs)
                .Union(myClassA.MyClassCs);

        foreach (IMyClass myClass in myClasses)
        {
            Array.Copy(myIO.GetCharArray(myClass).Concat(newLineChars).ToArray(),
                0, buffer, bufferIndex, recordLineSize);

            bufferIndex += recordLineSize;

            if (bufferIndex >= bufferSize)
            {
                textWriter.Write(buffer);

                bufferIndex = 0;
            }
        }
    }

    if (bufferIndex > 0)
        textWriter.Write(buffer);
}

有没有更好的方法来实现这一目标？

Answer 1

我强烈怀疑你的大部分时间都没花在I / O上。除非这些行真的长，否则不可能花35秒来写35,000行。

最有可能的是，大部分时间花费在GetCharArray方法上，无论如何。

一些建议：

如果您确实认为I / O是问题，请增加流的缓冲区大小。调用允许您指定缓冲区大小的StreamWriter constructor。例如，

using (TextWriter textWriter = new StreamWriter(filePath, append, Encoding.Utf8, 65536))

这将比默认的4K缓冲区大小更好。缓冲区大小高于64K通常不常用，实际上可能会降低性能。

不要预先缓冲行或附加到StringBuilder。这可能会使您的性能提升很小，但复杂性成本却很高。小的性能提升不值得维护噩梦。

利用foreach。你有这个代码：

if (myClassA.MyClassBs != null)
    myClassA.MyClassBs.ToList()
        .ForEach(myClassB =>
            textWriter.WriteLine(myIO.GetCharArray((myClassB)));

必须从MyClassBs集合中创建一个具体列表，然后枚举它。为什么不直接枚举这个东西：

if (myClassA.MyClassBs != null)
{
    foreach (var myClassB in myClassA.MyClassBs)
    {
        textWriter.WriteLine(myIO.GetCharArray((myClassB)));
    }
}

这将节省ToList所需的内存，以及创建列表时枚举集合所需的时间。

所有这一切，几乎可以肯定你的GetCharArray方法是一直在进行的。如果你真的想加快你的计划，那就看看吧。尝试优化写入StreamWriter是浪费时间。你不会在那里获得显着的性能提升。

Answer 2

我把一个简单的片段拼凑在一起，我觉得它有点清洁;但是，再一次，我不太确定你想要完成什么。另外，我没有任何课程，所以我无法进行任何类型的测试。

这个样本与你的基本相同;除了它使用一些通用方法，它在一个地方完成所有写作。

string filePath = "MickeyMouse.txt";
bool append = false;
List<MyClassA> myClassAs = new List<MyClassA> { new MyClassA() };
    List<char[]> outputLines = new List<char[]>();

foreach (MyClassA myClassA in myClassAs)
{
    outputLines.Add(myIO.GetCharArray(myClassA));

    if (myClassA.MyClassBs != null)
        outputLines.AddRange(myClassA.MyClassBs.Select(myClassB => myIO.GetCharArray(myClassB)));

    if (myClassA.MyClassCs != null)
        outputLines.AddRange(myClassA.MyClassCs.Select(myClassC => myIO.GetCharArray(myClassC)));
}

var lines = outputLines.Select(line => string.Concat<char>(line));
if (append)
    File.AppendAllLines(filePath, lines);
else
    File.WriteAllLines(filePath, lines);

这是StringBuilder版本：

string filePath = "MickeyMouse.txt";
bool append = false;
List<MyClassA> myClassAs = new List<MyClassA> { new MyClassA() };
StringBuilder outputLines = new StringBuilder();

foreach (MyClassA myClassA in myClassAs)
{
    outputLines.Append(myIO.GetCharArray(myClassA));

    if (myClassA.MyClassBs != null)
        myClassA.MyClassBs.ForEach(myClassB=>outputLines.Append(myClassB));

    if (myClassA.MyClassCs != null)
        myClassA.MyClassCs.ForEach(myClassC => outputLines.Append(myClassC));
}

if (append)
    File.AppendAllText(filePath, outputLines.ToString());
else
    File.WriteAllText(filePath, outputLines.ToString());

Answer 3

使用缓冲流进行写作

e.g。缓冲写入控制台使用

TextWriter w = new StreamWriter(new BufferedStream(Console.OpenStandardOutput()));
    w.WriteLine("Your text here");

类似于缓冲写入文件使用

TextWriter w = new StreamWriter(new BufferedStream(new FileStream("myFilePath.txt", FileMode.Create)));
w.WriteLine("Your text here");

将大量行写入文本文件的有效方法

3 个答案: