Question

我有问题）

我尝试在我的c＃代码中重现类似sp（存储过程）的调用，但我想以异步方式执行此操作。

TSQL示例：（Execute sp @key = 15072000173475; Execute sp @key = 15072000173571; ... Execute sp @key = n;）

[TestClass]
public class UnitTestNomenclature {
    [TestMethod]
    public void ParallelSQLMethod() {
        Task scropeTasks = null;
        //real amount is more then 1500
        long[] keys = new long[] {15072000173475,15072000173571 ... n };

        try {
            var tasks = keys.Select( i =>  Task.Run(async () => { await RunStoredProc(i); }));
            scropeTasks =  Task.WhenAll(tasks);

            scropeTasks.Wait();
        } catch (Exception ex) {
            Debug.WriteLine("Exception: " + ex.Message);

            Debug.WriteLine("IsFaulted: " + scropeTasks.IsFaulted);
            foreach (var inx in scropeTasks.Exception.InnerExceptions) {
                Debug.WriteLine("Details: " + inx.Message);
            }
        }

        Assert.AreEqual(1, 1);
    }

    public async Task RunStoredProc(long scollNumbParam) {
        const string strStoredProcName = @"[dbo].[sp]";
        using (SqlConnection conn = new SqlConnection(@"data source=SERVER;initial catalog=Db;integrated security=True;Trusted_Connection=Yes;")) {
            await conn.OpenAsync();
            Debug.WriteLine("============================================ Connection is open: ==============================================");

            // info
            Debug.WriteLine(String.Format("Connection: {0}", conn.ClientConnectionId));
            Debug.WriteLine(String.Format("State: {0}", conn.State.ToString()));

            using (SqlCommand cmd = new SqlCommand(strStoredProcName, conn) { CommandTimeout = 120, CommandType = CommandType.StoredProcedure }) {

                SqlParameter scrParam = new SqlParameter() {
                    ParameterName = "@KEYKRT",
                    Value = scollNumbParam,
                    SqlDbType = SqlDbType.BigInt
                };
                cmd.Parameters.Add(scrParam);

                Debug.WriteLine("Start of Proccesing: " + scollNumbParam);
                await cmd.ExecuteNonQueryAsync().ConfigureAwait(false);
                Debug.WriteLine("End of Proccesing: " + scollNumbParam);

            }
        }

        Debug.WriteLine("============================================ Connection is closed: ==============================================");
    }
}

这就是我在输出窗口中得到的结果：

========== Connection is open: ========
Connection: 5be9c681-6eb5-422f-a22c-b49689a2d912
State: Open
Start of Proccesing: 15072000173475
========== Connection is open: ==========
Connection: cfb66041-6646-4b56-be1c-2afb26a18cb8
State: Open
Start of Proccesing: 15072000173571
.....
End of Proccesing: 15072000173475
=========== Connection is closed: =========
End of Proccesing: 15072000173571
=========== Connection is closed: =========

...

A timeout occurred while waiting for memory resources to execute the query in resource pool 'default' (2). Rerun the query.
Actual error number: 8645
Actual line number: 98

此外，调试说连接池溢出我认为连接不适合处理的主要原因，但我怎么能用异步来实现呢？

如果我尝试在声明异步任务之前打开一个连接并将其传递给我的RunStoredProc方法，那么我得到 连接不支持MultipleActiveResultSets

using (SqlConnection conn = new SqlConnection(@"data source=SERVER;initial catalog=Db;integrated security=True;Trusted_Connection=Yes;)) {

                    conn.OpenAsync();
                    var tasks = keys.Select(i => Task.Run(async () => { await RunStoredProc(i, conn); }));
                    scropeTasks = Task.WhenAll(tasks);

                    scropeTasks.Wait();
                }

                Debug.WriteLine("========== Connection is closed: ==========");

这就是我在输出窗口中得到的结果：

Connection: 5be9c681-6eb5-422f-a22c-b49689a2d912
State: Open
Start of Proccesing: 15072000173475
======= Connection is open: =============
Connection: cfb66041-6646-4b56-be1c-2afb26a18cb8
State: Open
Start of Proccesing: 15072000173571
========= Connection is open: =========

Answer 1

你有大约1500个任务同时执行，并混合异步和阻塞调用（如.Wait），这可能导致死锁。

使测试异步并尝试避免async void，除非它在事件处理程序上。

尝试按顺序迭代它们。这将花费更长的时间，但至少连接将被正确处理，以免使资源过载。您也可以考虑以合理大小的批次进行操作。

[TestMethod]
public async Task ParallelSQLMethod() {
    //real amount is more then 1500
    var keys = new long[] { 
        15072000173475, 
        15072000173571, 
        //....., n
    };
    var tasks = keys.Select(i => RunStoredProc(i));
    var batchSize = 50; //Or smaller

    //run tasks in batches
    var sequence = tasks;
    while (sequence.Any()) {
        var batch = sequence.Take(batchSize);
        sequence = sequence.Skip(batchSize);

        await Task.WhenAll(batch);
    }
}

Answer 2

我担心，我在这里看到了async / await / concurrent / threading的经典问题。测试有很多问题，我会逐一尝试。

1）测试案例架构。你不知道你正在编写单元测试，SQL服务器是在同一个盒子还是不同的盒子上。

如果在同一个方框中，我会选择Max（n_cores / 2,1）连接。

如果有不同的方框，我会选择1-3个连接。

这些数字可以根据存储过程行为，长/短计算，传输数据量，连接速度等进行调整。

2）SQL连接并发问题。您无法打开一个连接，然后以某种方式尝试通过此连接同时调用1500个请求。实际上甚至不是两个在同一时间。

这就是它告诉你的：连接不支持MultipleActiveResultSets。

您必须使用一个已打开的连接才能被一个请求使用。

但是！您不必仅将其用于一个请求并将其关闭，您可以在第一个请求完成后运行下一个请求，这将比关闭并创建新连接更快。您只需按顺序通过每个连接运行这些请求......

3）因此，正确的测试用例体系结构如下所示：

异步测试方法，
将所有键推送到ConcurrentQueue队列;
然后Task []任务大小基于所需连接数量的数组，
启动每项任务并将它们存储到数组中，
await Task.WhenAll（tasks）;

我非常喜欢使用并发/并行代码但是在没有协调它们的情况下完成越来越多的任务并没有帮助加快速度，而是浪费资源......

4）示例：

[TestClass]
public class UnitTestNomenclature
{
    [TestMethod]
    public async Task ParallelSQLMethod()
    {
        long[] keys = new long[] { 15072000173475, 15072000173571 };

        ConcurrentQueue<long> queue = new ConcurrentQueue<long>(keys);

        int connections = Math.Max(1, Environment.ProcessorCount / 2);

        Task[] tasks =
        Enumerable
        .Range(0, connections)
        .Select(i => Task.Run<Task>(() => RunConnection(i, queue)).Unwrap())
        .ToArray()
        ;

        await Task.WhenAll(tasks);
    }

    public async Task RunConnection(int connection, ConcurrentQueue<long> queue)
    {
        using (SqlConnection conn = new SqlConnection(@"data source=SERVER;initial catalog=Db;integrated security=True;Trusted_Connection=Yes;"))
        {
            await conn.OpenAsync();
            Debug.WriteLine($"====== Connection[{connection}] is open: ======");

            Debug.WriteLine($"Connection[{connection}]: {conn.ClientConnectionId}");
            Debug.WriteLine($"Connection[{connection}].State: {conn.State}");

            long scollNumbParam;

            while (queue.TryDequeue(out scollNumbParam))
            {
                await RunStoredProc(conn, connection, scollNumbParam);
                Debug.WriteLine($"Connection[{connection}]: {conn.ClientConnectionId}");
                Debug.WriteLine($"Connection[{connection}].State: {conn.State}");
            }
        }

        Debug.WriteLine($"====== Connection[{connection}] is closed  ======");
    }

    public async Task RunStoredProc(SqlConnection conn, int connection, long scollNumbParam)
    {
        const string strStoredProcName = @"[dbo].[sp]";

        using (SqlCommand cmd = new SqlCommand(strStoredProcName, conn) { CommandTimeout = 120, CommandType = CommandType.StoredProcedure })
        {
            SqlParameter scrParam = new SqlParameter()
            {
                ParameterName = "@KEYKRT",
                Value = scollNumbParam,
                SqlDbType = SqlDbType.BigInt
            };
            cmd.Parameters.Add(scrParam);

            Debug.WriteLine($"Connection[{connection}] Start of Proccesing: " + scollNumbParam);
            await cmd.ExecuteNonQueryAsync();
            Debug.WriteLine($"Connection[{connection}] End of Proccesing: " + scollNumbParam);
        }
    }
}

Answer 3

我使用我的代码进行了一些实验并获得了适当的结果（异步处理）。我更改了连接链接（添加：Max Pool Size=250;Connection Timeout=60;Connection Lifetime=0;MultipleActiveResultSets=true），即我增加了连接池和连接持续时间的大小。

最大连接池大小（最大池大小）
连接池中的最小连接数（最小池大小）
在连接池中保持连接的秒数（连接寿命）（0是最大值）

提示：过多的池Max Pool Size（默认为100）可能会挂断您的服务器（我做过:)）

此外，我注意到我的连接字符串中没有“连接不支持MultipleActiveResultSets ”并且'MultipleActiveResultSets=true'，但处理同步。你可以在

上阅读（MARS）

https://docs.microsoft.com/en-us/dotnet/framework/data/adonet/sql/enabling-multiple-active-result-sets

结论：服务器上的并行执行不是MARS功能，MARS操作不是线程安全的。 MARS的目的不是删除应用程序中多个连接的所有要求。如果应用程序需要对服务器进行真正的并行命令执行，则应使用 多个连接 。它通常用于这样的原因

单元测试异步方法C＃

3 个答案: