为什么批量插入会导致ASP.net应用程序无响应？

Question

设置：ASP.net 3.5，Linq-to-Sql。独立的Web和DB服务器（每个8核，8GB RAM）。 4个数据库。我正在运行一个带有几百万条记录到DB4的插入操作（现在使用Linq-to-Sql，尽管我可能会切换到SqlBulkCopy）。记录显示记录以每秒600-700的速率一致地放置（我每1000条记录运行DataContext.SubmitChanges（）以保持事务大小不变）。插入在一个Http请求期间运行（超时设置得相当高）。

问题是当这个插入操作正在运行时，Web应用程序变得完全没有响应（在我的机器上的不同浏览器窗口中以及在远程位置的其他浏览器上）。

此插入操作正在触及DB4中的一个表。大多数页面只会触及DB1（所以我不认为这是一个锁定问题 - 我也通过Management Studio签入，没有任何对象被不必要地锁定）。我已经检查了Web和数据库服务器上的性能统计数据，虽然它们可能会不时出现，但在整个插入过程中，它们仍然处于“绿色”状态。

是否有任何关于可能导致应用无响应的想法或有关我应该采取哪些措施以缩小问题的建议？

对建议的回应：

• 建议插入使用所有数据库连接：插入使用的是与应用程序中其他页面不同的连接字符串（和数据库）。此外，我检查了SSMS，并且只有一个连接为DB4打开，一个为DB1打开（所以它看起来不像连接耗尽）。
• 建议插入最大化Web服务器上的CPU：这是服务器上唯一的应用程序（任何时候都少于5个用户）。性能监视器显示CPU保持在12％-20％之间。记忆很难被触及。

Answer 1

我的第一个猜测是，您正在使用与您正在进行的插入操作的数据库的可用连接，并且Web应用程序正在等待连接到数据库。

您有几个选择。

1. 查看SSMS，了解常规负载下的开放和活动连接的内容以及插入操作时是否存在问题。
2. 使用分析工具（如ANTS分析器）查看在减速时Web应用程序的运行情况，可能有助于查明问题。
3. 您还可以尝试在SQL Server上手动执行Web应用程序正在使用的查询，并查看是否发现了类似的行为。

另一个选项，有点不太可能，但它可能是Web应用程序执行批量插入，它占用了服务器上其他Web应用程序的所有CPU时间，阻止了使用。如果您还没有这样做，请将应用程序拆分到自己的池中，以便监视其负载。

Answer 2

我不知道Linq-to-Sql，但NHibernate明确指出将它用于批量插入是一个坏主意。我发现ADO.NET中的数组绑定非常快，Here is an article解释了如何使用Oracle，但它也应该与其他提供程序一起使用。

Answer 3

似乎在Web应用程序中执行长时间操作是个坏主意（例如，您的IIS服务器可以无缘无故地重新启动您的应用程序）。将您的长应用程序拆分为Web App和Service App。在Service App中进行长时间操作。通过WCF和他们之间进行沟通。管道

Answer 4

最终解决方案：我将数据插入从LinqToSql更改为通过DataTable使用SqlBulkCopy。我第一次这样做时，在尝试构建一个内存为200万行的DataTable时，我得到了一个OutOfMemory异常。所以我一次添加50,000行，并使用SqlBulkCopy（批量率：10,000）将它们加载到DB中，然后清除DataTable Rows集合。我现在在108秒内获得210万行（大约每秒20,000次;昨晚的费率是L2S每秒平均200次）。随着数据插入性能的提高，应用程序范围内的无响应性已经消失。

Answer 5

有可能你有一个锁定声明，在你的web应用程序中，在你将数据加载到数据库的整个过程中阻止了一些重要的解析。