Question

我有一个文本文件如下（它有超过数千行）：

Header
AGROUP1
ADATA1|0000
ADATA2|0001
ADATA3|0002
D0000|TNE
D0001|TNE
D0002|TNE
AGROUP2
ADATA1|0000
ADATA2|0001
ADATA3|0002
D0000|TNE
D0001|TNE
D0002|TNE
AGROUP3
ADATA1|0000
ADATA2|0001
ADATA3|0002
D0000|TNE
D0001|TNE
D0002|TNE

事实上，它不仅仅是数千行代码。

我需要根据群组阅读数据例如，在方法中：

public void ReadData(string strGroup)
{
    if(strGroup == "AGROUP2)
       //Read from the text file starting from line  "AGROUP2" to "AGROUP3"(i.e lines under AGROUP2)
}

我试过的是

 public void ReadData(string strGroup)
    {
             bool start = false;
             while ((line = reader.ReadLine()) != null)
                    {
                        if (line == strGroup && line.Length == 5)
                            start = true;
                        else if (line.Length == 5)
                            start = false;
                        if(start)
                            yield return line;
                    }
    }

它工作正常，性能明智，它需要更长的时间，因为我的文本文件是一个非常非常庞大的文件....方法中的每一行都有条件。

这是一个更好的方法吗？

Answer 1

如果您对文件的结构有任何了解，可能有助于您使用它：

如果列表已排序，您可能知道何时停止解析。
如果列表包含跳转表或索引，则可以跳过行
如果组有特定行数，则可以跳过这些

如果没有，你注定要从上到下进行搜索，你只能使用技巧来提高速度：

读取批次行而不是单行
尝试阻止在您的代码中创建许多可能会阻塞垃圾收集器的微小对象（字符串）
如果您需要进行大量随机访问（在整个文件中来回），您可能会考虑首先索引或拆分文件。

Answer 2

如果使用bash命令将庞大的文件剪切成较小的文件，使用AGROUP＃作为第一行，该怎么办？我认为bash命令更加优化。

从文本文件中读取特定数据

2 个答案: