从文件大小超过4TB的.csv文件中搜索文本

Question

我有一个文件大小超过4TB的.csv文件，文件中的所有记录都按列FirstName排序。现在我想搜索任何名称“测试＆＃39;”。什么是最好的搜索方法？

Answer 1

如果你需要一个简单但速度慢的搜索，System.Io.File和一些LinQ就足够了：

System.IO.File.ReadLines("yourfile.csv").Where( s => s.StartsWith("test") );

您可以通过自己进行foreach循环来改善这一点，这样您就可以在第一次出现后中断。对于任何更复杂的东西，我建议你使用数据库。 4TB不应该存储在具有可变数据长度的文件中。如果你想在你的代码中有效地执行此操作，那么你自己就要编写一半的数据库。