我将文本文件（.itf）与位于文件夹中的某些逻辑合并。当我将它编译为32位（控制台应用程序，.Net 4.6）时，一切正常，但如果文件夹中有大量数据，我会得到outofmemory个例外。将它编译为64位可以解决这个问题，但与32位进程相比，运行速度超慢（超过15倍）。
我使用BufferedStream和ReadAllLines进行了尝试，但两者表现都非常糟糕。分析器告诉我这些方法使用99％的时间。我不知道问题是......
以下是代码：
private static void readData(Dictionary<string, Topic> topics)
{
foreach (string file in Directory.EnumerateFiles(Path, "*.itf"))
{
Topic currentTopic = null;
Table currentTable = null;
Object currentObject = null;
using (var fs = File.Open(file, FileMode.Open))
{
using (var bs = new BufferedStream(fs))
{
using (var sr = new StreamReader(bs, Encoding.Default))
{
string line;
while ((line = sr.ReadLine()) != null)
{
if (line.IndexOf("ETOP") > -1)
{
currentTopic = null;
}
else if (line.IndexOf("ETAB") > -1)
{
currentTable = null;
}
else if (line.IndexOf("ELIN") > -1)
{
currentObject = null;
}
else if (line.IndexOf("MTID") > -1)
{
MTID = line.Replace("MTID ", "");
}
else if (line.IndexOf("MODL") > -1)
{
MODL = line.Replace("MODL ", "");
}
else if (line.IndexOf("TOPI") > -1)
{
var name = line.Replace("TOPI ", "");
if (topics.ContainsKey(name))
{
currentTopic = topics[name];
}
else
{
var topic = new Topic(name);
currentTopic = topic;
topics.Add(name, topic);
}
}
else if (line.IndexOf("TABL") > -1)
{
var name = line.Replace("TABL ", "");
if (currentTopic.Tables.ContainsKey(name))
{
currentTable = currentTopic.Tables[name];
}
else
{
var table = new Table(name);
currentTable = table;
currentTopic.Tables.Add(name, table);
}
}
else if (line.IndexOf("OBJE") > -1)
{
if (currentTable.Name != "Metadata" || currentTable.Objects.Count == 0)
{
var shortLine = line.Replace("OBJE ", "");
var obje = new Object(shortLine.Substring(shortLine.IndexOf(" ")));
currentObject = obje;
currentTable.Objects.Add(obje);
}
}
else if (currentTopic != null && currentTable != null && currentObject != null)
{
currentObject.Data.Add(line);
}
}
}
}
}
}
}
答案 0 :(得分：4)
您的程序最大的问题是，当您让它以64位模式运行时，它可以读取更多文件。这很好，64位进程的地址空间比32位进程多一千倍，用完它的可能性太小了。
但是你没有得到一千倍的RAM。
工作中“没有免费午餐”的普遍原则。拥有足够的内存在这样的程序中非常重要。首先，它由文件系统缓存使用。这个神奇的操作系统功能使其看起来就像从磁盘读取文件一样非常便宜。它根本不是你在程序中可以做的最慢的事情之一，但它非常善于隐藏它。当您多次运行程序时，您将调用它。第二次，以及随后的时间，你根本不会从磁盘读取。这是一个非常危险的功能，当你测试你的程序时很难避免，你会得到非常关于它的效率的不切实际的假设。
64位进程的问题在于它很容易使文件系统缓存无效。因为你可以读取更多的文件，从而压倒了缓存。并删除旧文件数据。现在，第二次运行程序时，它将不再快速。您读取的文件将不再次位于缓存中，但必须从磁盘中读取。您现在将看到程序的真实性能，以及它在生产中的行为方式。这是一件好事，即使你不太喜欢它：）
RAM的次要问题是较小的问题，如果您分配了大量内存来存储文件数据，那么您将强制操作系统找到用于存储它的RAM。这可能会导致很多硬页面错误，当它必须取消映射另一个进程使用的内存时，或者你的内存，以释放你需要的RAM。一个称为“颠簸”的通用问题。页面错误是您可以在任务管理器中看到的，使用View＆gt;选择列以添加它。
鉴于文件系统缓存是减速的最可能源，您可以做的一个简单测试是重新启动计算机，这可以确保缓存不能包含任何文件数据，然后运行32位版。预测它也会很慢并且BufferedStream和ReadAllLines是瓶颈。就像他们应该的那样。
最后要注意的是，即使您的程序与模式不匹配，也无法对.NET 4.6性能问题做出强有力的假设。直到this very nasty bug得到解决。
答案 1 :(得分：1)
一些提示：
BufferedStream然后StreamReader
你可以只使用StreamReader进行缓冲吗？Parallel.ForEach 答案 2 :(得分：1)
我可以解决它。似乎.Net编译器中存在错误。删除VS2015中的代码优化复选框会导致性能大幅提升。现在，它的运行性能与32位版本相似。我的最终版本有一些优化：
private static void readData(ref Dictionary<string, Topic> topics)
{
Regex rgxOBJE = new Regex("OBJE [0-9]+ ", RegexOptions.IgnoreCase | RegexOptions.Compiled);
Regex rgxTABL = new Regex("TABL ", RegexOptions.IgnoreCase | RegexOptions.Compiled);
Regex rgxTOPI = new Regex("TOPI ", RegexOptions.IgnoreCase | RegexOptions.Compiled);
Regex rgxMTID = new Regex("MTID ", RegexOptions.IgnoreCase | RegexOptions.Compiled);
Regex rgxMODL = new Regex("MODL ", RegexOptions.IgnoreCase | RegexOptions.Compiled);
foreach (string file in Directory.EnumerateFiles(Path, "*.itf"))
{
if (file.IndexOf("itf_merger_result") == -1)
{
Topic currentTopic = null;
Table currentTable = null;
Object currentObject = null;
using (var sr = new StreamReader(file, Encoding.Default))
{
Stopwatch sw = new Stopwatch();
sw.Start();
Console.WriteLine(file + " read, parsing ...");
string line;
while ((line = sr.ReadLine()) != null)
{
if (line.IndexOf("OBJE") > -1)
{
if (currentTable.Name != "Metadata" || currentTable.Objects.Count == 0)
{
var obje = new Object(rgxOBJE.Replace(line, ""));
currentObject = obje;
currentTable.Objects.Add(obje);
}
}
else if (line.IndexOf("TABL") > -1)
{
var name = rgxTABL.Replace(line, "");
if (currentTopic.Tables.ContainsKey(name))
{
currentTable = currentTopic.Tables[name];
}
else
{
var table = new Table(name);
currentTable = table;
currentTopic.Tables.Add(name, table);
}
}
else if (line.IndexOf("TOPI") > -1)
{
var name = rgxTOPI.Replace(line, "");
if (topics.ContainsKey(name))
{
currentTopic = topics[name];
}
else
{
var topic = new Topic(name);
currentTopic = topic;
topics.Add(name, topic);
}
}
else if (line.IndexOf("ETOP") > -1)
{
currentTopic = null;
}
else if (line.IndexOf("ETAB") > -1)
{
currentTable = null;
}
else if (line.IndexOf("ELIN") > -1)
{
currentObject = null;
}
else if (currentTopic != null && currentTable != null && currentObject != null)
{
currentObject.Data.Add(line);
}
else if (line.IndexOf("MTID") > -1)
{
MTID = rgxMTID.Replace(line, "");
}
else if (line.IndexOf("MODL") > -1)
{
MODL = rgxMODL.Replace(line, "");
}
}
sw.Stop();
Console.WriteLine(file + " parsed in {0}s", sw.ElapsedMilliseconds / 1000.0);
}
}
}
}
答案 3 :(得分：0)
删除代码优化复选框通常会导致性能下降，而不是加速。 VS 2015产品可能存在问题。请提供一个独立的repro案例，其中包含一个针对您的程序的输入集，用于演示性能问题并在以下位置报告：http://connect.microsoft.com/