我遇到了一件我无法弄清楚的最奇怪的事情。我有一个SQL表，其中包含一堆存储在ntext字段中的报告。当我将其中一个的值复制并粘贴到记事本中并保存它时（使用Visual Studio从不同行中的较小报表中获取值），原始txt文件大约为5Mb。当我尝试使用SqlDataReader获取相同的数据并将其转换为字符串时，我得到一个内存不足的异常。以下是我尝试这样做的方法：
string output = "";
string cmdtext = "SELECT ReportData FROM Reporting_Compiled WHERE CompiledReportTimeID = @CompiledReportTimeID";
SqlCommand cmd = new SqlCommand(cmdtext, conn);
cmd.Parameters.Add(new SqlParameter("CompiledReportTimeID", CompiledReportTimeID));
SqlDataReader reader = cmd.ExecuteReader();
while (reader.Read())
{
output = reader.GetString(0); // <--- exception happens here
}
reader.Close();
我尝试创建一个对象和一个stringbuilder来获取数据，但我仍然得到相同的内存不足异常。我也尝试过使用reader.GetValue（0）.ToString（）也无济于事。查询只返回1行，当我在SQL Management Studio中运行它时，它很高兴。
抛出的异常是：
System.OutOfMemoryException was unhandled by user code
Message=Exception of type 'System.OutOfMemoryException' was thrown.
Source=mscorlib
StackTrace:
at System.String.CreateStringFromEncoding(Byte* bytes, Int32 byteLength, Encoding encoding)
at System.Text.UnicodeEncoding.GetString(Byte[] bytes, Int32 index, Int32 count)
at System.Data.SqlClient.TdsParserStateObject.ReadString(Int32 length)
at System.Data.SqlClient.TdsParser.ReadSqlStringValue(SqlBuffer value, Byte type, Int32 length, Encoding encoding, Boolean isPlp, TdsParserStateObject stateObj)
at System.Data.SqlClient.TdsParser.ReadSqlValue(SqlBuffer value, SqlMetaDataPriv md, Int32 length, TdsParserStateObject stateObj)
at System.Data.SqlClient.SqlDataReader.ReadColumnData()
at System.Data.SqlClient.SqlDataReader.ReadColumn(Int32 i, Boolean setTimeout)
at System.Data.SqlClient.SqlDataReader.GetString(Int32 i)
at Reporting.Web.Services.InventoryService.GetPrecompiledReportingData(DateTime ReportTime, String ReportType) in C:\Projects\Reporting\Reporting.Web\Services\InventoryService.svc.cs:line 3244
at SyncInvokeGetPrecompiledReportingData(Object , Object[] , Object[] )
at System.ServiceModel.Dispatcher.SyncMethodInvoker.Invoke(Object instance, Object[] inputs, Object[]& outputs)
at System.ServiceModel.Dispatcher.DispatchOperationRuntime.InvokeBegin(MessageRpc& rpc)
InnerException:
null
我已经测试了其他似乎有效的行号，但这是误报，因为那些测试ID没有数据。在查看包含几乎相同的报告的表之后，我提取了一些其他测试ID，我得到了相同的异常。也许它的字符串是如何编码的？存储在表中的数据是一个JSON编码的字符串，它是由我在其他地方制作的一个非常粗糙的类生成的，如果有帮助的话。
以下是前面的代码块：
// get the report time ID
int CompiledReportTimeTypeID = CompiledReportTypeIDs[ReportType];
int CompiledReportTimeID = -1;
cmdtext = "SELECT CompiledReportTimeID FROM Reporting_CompiledReportTime WHERE CompiledReportTimeTypeID = @CompiledReportTimeTypeID AND CompiledReportTime = @ReportTime";
cmd = new SqlCommand(cmdtext, conn);
cmd.Parameters.Add(new SqlParameter("CompiledReportTimeTypeID", CompiledReportTimeTypeID));
cmd.Parameters.Add(new SqlParameter("ReportTime", ReportTime));
reader = cmd.ExecuteReader();
while (reader.Read())
{
CompiledReportTimeID = Convert.ToInt32(reader.GetValue(0));
}
reader.Close();
CompiledReportTypeIDs是一个字典，它根据在方法开头输入的字符串参数获取正确的CompiledReportTimeTypeID。 ReportTime是早先提供的DateTime。
编辑： 我将删除表并使用ReportData字段将其重新创建为nvarchar（MAX）而不是ntext，只是为了排除SQL数据类型问题。这是一个很长的镜头，我会用我发现的东西再次更新。
EDIT2： 将表中的字段更改为nvarchar（max）无效。我也尝试过使用output = cmd.ExecuteScalar（）。ToString（），没有任何影响。我正在尝试查看SqlDataReader是否有最大大小。当我从SQL Mgmt Studio复制文本的值时，在记事本中保存时只有43Kb。为了验证这一点，我提取了一份具有已知工作ID（较小的报告）的报告，当我将值直接从Visual Studio中复制并将其转储到记事本中时，它大约为5MB！这意味着这些大型报告可能位于nvarchar（max）字段的~20MB范围内。
EDIT3： 我重新启动了一切，包括我的开发IIS服务器，SQL服务器和我的开发笔记本电脑。现在它似乎正在起作用。这不是为什么会发生这种情况的答案。我将这个问题留待解释所发生的事情，我将其中一个标记为答案。
Edit4： 话虽如此，我在没有改变事情的情况下运行了另一个测试，同样的异常又回来了。我真的开始认为这是一个SQL问题。我正在更新这个问题的标签。我做了一个单独的应用程序运行完全相同的查询，它运行正常。
Edit5： 我按照下面的一个答案实现了顺序访问。所有东西都被正确地读入流中，但当我尝试将其写入字符串时，我仍然会遇到内存不足异常。这是否表明获得连续的内存块的问题？以下是我实现缓冲的方法：
reader = cmd.ExecuteReader(CommandBehavior.SequentialAccess);
long startIndex = 0;
long retval = 0;
int bufferSize = 100;
byte[] buffer = new byte[bufferSize];
MemoryStream stream = new MemoryStream();
BinaryWriter writer = new BinaryWriter(stream);
while (reader.Read())
{
// Reset the starting byte for the new CLOB.
startIndex = 0;
// Read bytes into buffer[] and retain the number of bytes returned.
retval = reader.GetBytes(0, startIndex, buffer, 0, bufferSize);
// Continue while there are bytes beyond the size of the buffer.
while (retval == bufferSize)
{
writer.Write(buffer);
writer.Flush();
// Reposition start index to end of last buffer and fill buffer.
startIndex += bufferSize;
retval = reader.GetBytes(0, startIndex, buffer, 0, bufferSize);
}
//output = reader.GetString(0);
}
reader.Close();
stream.Position = 0L;
StreamReader sr = new StreamReader(stream);
output = sr.ReadToEnd(); <---- Exception happens here
//output = new string(buffer);
Edit6： 要添加到此，当发生OOM异常时，我看到IIS工作进程（其中包含正在运行的方法）达到了近700MB。这是在IIS Express上运行的，而不是生产服务器上的完整IIS。这与它有什么关系吗？此外，当我调用Byte [] data = stream.ToArray（）时，我也断断续续地获取OOM。我认为我真正需要的是为这个过程提供更多内存的方法，但我不知道在哪里配置它。
Edit7： 我刚刚将我的开发服务器从本地计算机上的IIS Express更改为内置的Visual Studio Web服务器。 OOM例外现在已经消失。我真的认为这是分配一个连续的内存块问题，无论出于何种原因，IIS Express都不会将其分叉。现在它运行正常，我将发布到运行常规IIS7的2008R2上的完整服务器，看它是怎么回事。
答案 0 :(得分：10)
执行阅读器时，应通过指定command behavior来尝试按顺序读取数据。根据文档，使用SequentialAccess检索大值和二进制数据。否则，可能会发生OutOfMemoryException，并且将关闭连接。
虽然顺序访问通常用于大型二进制数据，但基于MSDN文档，您也可以使用它来读取大量字符数据。
访问BLOB字段中的数据时，请使用GetBytes或 GetChars DataReader的类型访问器，用于填充数组 数据。您还可以将GetString用于字符数据;然而。至 节省您可能不想加载整个BLOB的系统资源 将值转换为单个字符串变量。你可以改为指定一个 要返回的数据的特定缓冲区大小以及起始位置 从返回的数据中读取第一个字节或字符。 GetBytes和GetChars将返回一个long值，表示 返回的字节数或字符数。如果传递null数组 GetBytes或GetChars，返回的长值将是总数 BLOB中的字节或字符。您可以选择指定 数组中的索引作为正在读取的数据的起始位置。
此MSDN example显示了如何执行顺序访问。我相信您可以使用GetChars方法来阅读文本数据。
答案 1 :(得分：5)
从根本上说，当你内存不足时，System.OutOfMemoryException不会发生，但是当你无法为一个对象分配一个连续的内存块时。在尝试创建一个非常大的数组，或者加载一个大的位图对象时，或者有时在创建大型XmlDocuments时，您经常会看到错误......
Array和String通常需要连续分配，即不能分解成碎片并分配到内存中的空白区域。
这可能不是SQL问题，而且SqlReader尝试分配足够大的字符串以包含连续数据时更是一个问题。
你提到它在重启后工作正常，所以让我们假设你的代码基本上是正确的（可能仍然可以优化以将数据作为流而不是缓冲记录集）并且当前症状是环境的。一个刚刚重新启动的机器可能没有那么多碎片的内存，但是当你使用它时，内存碎片化并返回错误......
你可能能够通过关闭尽可能多的其他程序来证明连续的内存理论，并在代码之前添加代码以强制GC.Collect(GC.MaxGeneration)（reference）有错误。这不是保证，因为分配给您的进程的内存可能仍然是碎片化的。
我认为流式传输值可能是阻止错误发生的方法，最好避免尝试将所有内容缓冲到字符串中。这样做的缺点是，在结果被程序的其余部分流式传输/消耗时，您将保持数据库连接处于打开状态，这将带来自己的开销。我不确定您的代码需要对结果做什么，但如果它需要使用String实例，您可能需要扩展该进程可用的内存（有几种方法可以帮助它，但可能偏离主题 - 发表评论，如果需要，我可以添加这个答案）
答案 2 :(得分：0)
疯狂猜测。
cmd.Parameters.Add(new SqlParameter("CompiledReportTimeID", CompiledReportTimeID));