Question

我有一个类型列表，其中包含（string，string，string，string，int，DateTime，DateTime）字符串组合中的字符总数等于28。

我在一个文件中读取填充列表，该列表将在列表中以19,000,000（一千九百万）个这些对象结束。

我在文件中读到并添加到列表中

public void ReadDocGrabValues(string fileREAD)
{
    using (var file = new StreamReader(fileREAD))
    {
        var j = file.ReadLine();

        while (j != null)
        {
            mylist.Add(new IDandAGE(j.Substring(0, 15), j.Substring(16, 1), j.Substring(18, 6), j.Substring(25, 6), 0, DateTime.Today, DateTime.Today));
            j = file.ReadLine();
        }
    }
}

哪个应该不是问题。然后，我遍历整个列表，从两个字符串中计算出DateTime对象。

public void ConvertYOBDOI()
{
    foreach (IDandAGE x in mylist)
    {
        string IssueDate = (x.StringDOD.Substring(0,4) + "-" + x.StringDOD.Substring(4,2) + "-01");
        string BirthDate = (x.StringYOB.Substring(0,4) + "-" + x.StringYOB.Substring(4,2) + "-01");
        x.DeathDate= DateTime.Parse(DeathDate);
        x.YearOfBirth = DateTime.Parse(BirthDate);

     }
}

然后我再次浏览整个列表以计算年龄值。

public void DateCalc()
{
    foreach (IDandAGE w in mylist)
    {
        w.Age = w.DateOfDeath.Year - w.YearOfBirth.Year;
        if (w.YearOfBirth > w.DateOfDeath.AddYears(-w.Age)) w.Age--;

    }
}

最后我将列表中我想要的值写到文件中。

public void CreateAgeFile()
{
   StreamWriter a = new StreamWriter(@"C:\GetAgeTest.txt");

    foreach (IDandAGE x in mylist)
    {
       String f = (x.ID + "," + x.Gender + "," + x.StringYOB + "," + x.StringDOD + "," + x.Age + ",NULL,NULL,NULL");
        a.WriteLine(f);
    }
    a.Close();

}

我真的只是开始编码而事先道歉，因为它效率低下/垃圾/无法回答我自己的问题。

我想，由于我多次遍历列表，因此有多种原因可能会给我这个例外。

欢迎任何帮助或建议。

谢谢。

Answer 1

如果您正在访问19M记录，那么是：您至少需要考虑内存。您目前将它们全部存储在列表中，因此它们不会被收集。如果您使用的是32位（或64位启用，并且选择了prefer-32位），那么这将是紧张的。一个更好的想法可能是使用迭代器块，这样你就不需要在内存中同时使用它们了：

public IEnumerable<IDandAGE> ReadDocGrabValues(string fileREAD)
{
    foreach(string j in File.ReadLines(fileREAD))
    {
        yield return new IDandAGE(j.Substring(0, 15), j.Substring(16, 1),
            j.Substring(18, 6), j.Substring(25, 6), 0,
            DateTime.Today, DateTime.Today);
    }
}
...
foreach (IDandAGE w in ReadDocGrabValues(path))
{
    // do per-item processing
}

内存不足异常

1 个答案: