Question

我有超过600k的字符串。我想将相同的字符串分组并了解它们的数量。

示例

i go to school
i like music
i like games
i like music
i like music
i like games
i like music

结果将是

i go to school , 1
i like games  , 2
i like music , 4

我怎样才能以最快的方式做到这一点？

Answer 1

GroupBy方法就是您想要的。您需要将字符串放在列表或实现IEnumerable<string>的内容中。 spender建议的File.ReadLines将返回IEnumerable<string>，逐行读取文件。

var stringGroups = File.ReadLines("filename.txt").GroupBy(s => s);
foreach (var stringGroup in stringGroups)
    Console.WriteLine("{0} , {1}", stringGroup.Key, stringGroup.Count());

如果您希望它们按照最少的顺序（如您的示例中那样），只需添加OrderBy

...
foreach (var stringGroup in stringGroups.OrderBy(g => g.Count()))
    ...

Answer 2

您可以使用Linq来实现它

IEnumerable<string> stringSource = File.ReadLines("C:\\file.txt");

var result = stringSource
    .GroupBy(str => str)
    .Select(group => new {Value = group.Key, Count = group.Count()})
    .OrderBy(item => item.Count)
    .ToList();

foreach(var item in result)
{
    // item.Value - string value
    // item.Count - count
}

Answer 3

另一种，“oldschool”方法是迭代所有行并将它们添加到Dictioary（如果尚未存在）。关键是行，值是计数。

var d = new Dictionary<string, Int32>();
foreach (var line in File.ReadAllLines(@"C:\Temp\FileName.txt"))
     if (d.ContainsKey(line)) d[line]++; else d.Add(line, 1);

优点是，它也适用于早期的框架版本。

Answer 4

你可以试试这个：


var groupedLines = System.IO.File.ReadAllLines(@"C:\temp\samplelines.txt").GroupBy(x=>x);
groupedLines.ToList().ForEach(y => Console.WriteLine("Content: {0} - Occurences: {1}", y.Key, y.Count()));

从大量字符串列表中计算相同的字符串数

4 个答案: