Question

我需要读取两个大文件（超过125 MB）。每个文件都包含具有类似数据的记录。我需要找到它们中的记录，然后如果记录的字段不匹配，我需要用文件1中的记录中的字段覆盖文件2中的记录。

例如，第一个文件包含以下字段：

ID, ACCT, Bal, Int, Rate

第二个文件包含以下字段：

TYPE, ID, ACCT, Bal, Int, Rate.

因此，如果文件1中的记录与文件2中的记录具有相同的ACCT编号，则文件2中的Bal，Int和Rate需要用文件1中的Bal，Int和Rate的值覆盖。

某些记录不会出现在每个文件中。我需要创建的输出文件是来自文件2的所有记录，如果记录不在文件1中，那么它将按原样写入文件，但随后将包含需要更改的记录。

我尝试了很多不同的选项，但大多数都没有足够的效率来处理大文件。这个问题的正确方向是什么？提前感谢您的帮助。

Answer 1

定义两个特定于类型的类，每个文件对应一个。

class FileOne
{ 
    public int LineNumber {get;set};
    public int Id{get;set;}; 
    public double Bal {get;set;};
...
}

class FileTwo
{ 
    public int LineNumber {get;set};
    public string TranType{get;set;};  // type = reserved word
    public int Id{get;set;}; 
    public double Bal {get;set;};
...
}

将您的文件加载到IList＆lt;＆gt;对于每个文件，所以你有IList myFileOne和IList myFileTwo，并捕获每个条目的行号，以便你知道它们在文件中的位置。

现在使用linq查询两者之间的差异：

var diffs = from f1 in myFileOne
            join f2 in myFileTwo on f1.Id = f2.Id
            where f1.Bal != f2.Bal // add whatever conditions you need here
            select new {
                f1.Id, f2.Bal, f2.Int, f2.Rate, f1.LineNum
            }

Diffs将成为select中4个字段的可枚举集合。现在你可以遍历它并使用f1.LineNum从myFileOne中找到正确的行号，并使用f2中找到的值更新它。

这对您如何访问文件本身有帮助还是更感兴趣？

Answer 2

将来自文件1的所有记录加载到hash table，并将ACCT作为密钥循环遍历文件2中的所有记录并根据需要进行更新。

复杂性：O（n）

HTH

处理和组合两个大文件

2 个答案: