Question

我有一个

的CSV文件

FirstName LastName和ID列，Id是唯一列

Chris, Webber, 1 
Chris, Ben, 2
Chris, Dudley, 3
David, Floy, 4
Chris, Ben, 5 
Chris, Webber, 6

我需要在不使用DB的情况下获取两个列表，我需要从c＃中的文件中读取它并创建两个列表重复列表和originalList。

重复列表包含所有重复条目

Chris, Webber, 1
Chris, Webber, 6
Chris, Ben, 2
Chris, Ben, 5

原始列表具有唯一条目和第一次出现重复条目。

Chris, Webber, 1
Chris, Ben, 2
Chris, Dudley, 3
David, Floy, 4

解决这个问题的最佳方法是什么？

Answer 1

var lines = File.ReadLines("yourFile.ext");

// this assumes you can hold the whole file in memory

// uniqueness is defined by the first two columns
var grouped = lines.GroupBy(line => string.Join(", ", line.Split(',').Take(2)))
                   .ToArray();

// "unique entry and first occurrence of duplicate entry" -> first entry in group
var unique = grouped.Select(g => g.First());

var dupes = grouped.Where(g => g.Count() > 1)
                   .SelectMany(g => g);

Console.WriteLine("unique");
foreach (var name in unique)
    Console.WriteLine(name);

Console.WriteLine("\nDupes");
foreach (var name in dupes)
    Console.WriteLine(name);

输出：

unique
Chris, Webber, 1
Chris, Ben, 2
Chris, Dudley, 3
David, Floy, 4

Dupes
Chris, Webber, 1
Chris, Webber, 6
Chris, Ben, 2
Chris, Ben, 5

Answer 2

逐行阅读，视为纯文本文件。

使用'{'

上的string.split解析每一行

使用一个List来跟踪ID，使用.Contains

为数据本身使用自定义数据对象结构，并制作两个列表，一个用于唯一条目，另一个用于重复项。（共3个清单）

如果您需要实际的代码示例，请列出您尝试调试的内容以及错误。

Answer 3

创建一个包含唯一ID的String Array / Map / ArrayList / List。 ---使用最适合您的合作伙伴。
逐行阅读文件
检查ID是否已经是您创建的Array / Map / ArrayList / List的一部分 - 如果不是，请将其添加到数组列表中，如果不存在则。

当您将其添加到数组列表时，您还可以将整行添加到数据集中，您可以使用该数据集存储您现在拥有的所有唯一记录。

在csv文件中查找重复项

3 个答案: