Question

我正在使用负载测试来分析Dapper访问SQL Server的“停工”性能。我的笔记本电脑同时是负载生成器和测试目标。我的笔记本电脑有2个内核，16GB RAM，并且正在运行Windows 10 Pro v1709。该数据库是在Docker容器中运行的SQL Server 2017（该容器的Hyper-V VM具有3GB RAM）。我的负载测试和测试代码使用的是.net 4.6.1。

在模拟10个并发客户端的15秒后，我的负载测试结果如下：

同步Dapper代码：每秒750多个事务。
异步Dapper代码：每秒4到8个事务。赞！

我意识到异步有时会比同步代码慢。我也意识到我的测试设置很弱。但是，我不应该从异步代码中看到如此可怕的性能。

我已将问题缩小为与Dapper和System.Data.SqlClient.SqlConnection相关的问题。我需要帮助才能最终解决此问题。探查器结果如下。

我想出了一种俗气的方法来强制我的异步代码每秒完成650个以上的事务，我将稍后讨论，但是现在是时候展示我的代码了，它只是一个控制台应用程序。我有一个测试课：

public class FitTest
{
    private List<ItemRequest> items;
    public FitTest()
    {
        //Parameters used for the Dapper call to the stored procedure.
        items = new List<ItemRequest> {
            new ItemRequest { SKU = "0010015488000060", ReqQty = 2 } ,
            new ItemRequest { SKU = "0010015491000060", ReqQty = 1 }
            };
    }
... //the rest not listed.

同步测试目标

在FitTest类中，在负载下，以下测试目标方法每秒可实现750多个事务：

public Task LoadDB()
{
    var skus = items.Select(x => x.SKU);
    string procedureName = "GetWebInvBySkuList";
    string userDefinedTable = "[dbo].[StringList]";
    string connectionString = "Data Source=localhost;Initial Catalog=Web_Inventory;Integrated Security=False;User ID=sa;Password=1Secure*Password1;Connect Timeout=30;Encrypt=False;TrustServerCertificate=True;ApplicationIntent=ReadWrite;MultiSubnetFailover=False";

    var dt = new DataTable();
    dt.Columns.Add("Id", typeof(string));
    foreach (var sku in skus)
    {
        dt.Rows.Add(sku);
    }

    using (var conn = new SqlConnection(connectionString))
    {
        var inv = conn.Query<Inventory>(
            procedureName,
            new { skuList = dt.AsTableValuedParameter(userDefinedTable) },
            commandType: CommandType.StoredProcedure);

        return Task.CompletedTask;
    }
}

我没有显式打开或关闭SqlConnection。我知道Dapper为我做到了。另外，上面的代码返回Task的唯一原因是因为我的负载生成代码旨在用于该签名。

异步测试目标

FitTest类中的另一个测试目标方法是：

public async Task<IEnumerable<Inventory>> LoadDBAsync()
{
    var skus = items.Select(x => x.SKU);
    string procedureName = "GetWebInvBySkuList";
    string userDefinedTable = "[dbo].[StringList]";
    string connectionString = "Data Source=localhost;Initial Catalog=Web_Inventory;Integrated Security=False;User ID=sa;Password=1Secure*Password1;Connect Timeout=30;Encrypt=False;TrustServerCertificate=True;ApplicationIntent=ReadWrite;MultiSubnetFailover=False";

    var dt = new DataTable();
    dt.Columns.Add("Id", typeof(string));
    foreach (var sku in skus)
    {
        dt.Rows.Add(sku);
    }

    using (var conn = new SqlConnection(connectionString))
    {
        return await conn.QueryAsync<Inventory>(
            procedureName,
            new { skuList = dt.AsTableValuedParameter(userDefinedTable) },
            commandType: CommandType.StoredProcedure).ConfigureAwait(false);
    }

}

同样，我没有明确打开或关闭连接-因为Dapper为我做了。我还通过显式打开和关闭来测试了此代码；它不会改变性能。针对上述代码（4 TPS）的负载生成器的探查器结果如下：

如果更改以下内容，会改变性能吗？

//using (var conn = new SqlConnection(connectionString))
//{
    var inv = await conn.QueryAsync<Inventory>(
        procedureName,
        new { skuList = dt.AsTableValuedParameter(userDefinedTable) },
        commandType: CommandType.StoredProcedure);
    var foo = inv.ToArray();
    return inv;
//}

在这种情况下，我已经将SqlConnection转换为FitTest类的私有成员，并在构造函数中对其进行了初始化。也就是说，每个客户端每个负载测试会话一个SqlConnection。在负载测试期间，它永远不会被丢弃。我还更改了连接字符串以包括“ MultipleActiveResultSets = True”，因为现在我开始遇到这些错误。

有了这些更改，我的结果变成：每秒640笔以上的事务，并抛出8个异常。唯一的例外是“ InvalidOperationException：BeginExecuteReader需要打开且可用的Connection。连接的当前状态为连接中。”探查器在这种情况下会导致：

在我看来，这就像Dapper中带有SqlConnection的同步错误。

Load-Generator

我的负载生成器（称为Generator的类）被构造为在构造时会提供一个委托列表。每个委托都有FitTest类的唯一实例。如果我提供了一个由10个委托组成的数组，则该数组将被解释为表示将用于并行生成负载的10个客户端。

要启动负载测试，我要这样做：

//This `testFuncs` array (indirectly) points to either instances
//of the synchronous test-target, or the async test-target, depending
//on what I'm measuring.
private Func<Task>[] testFuncs;
private Dictionary<int, Task> map;
private TaskCompletionSource<bool> completionSource;

public void RunWithMultipleClients()
{
    completionSource = new TaskCompletionSource<bool>();

    //Create a dictionary that has indexes and Task completion status info.
    //The indexes correspond to the testFuncs[] array (viz. the test clients).
    map = testFuncs
        .Select((f, j) => new KeyValuePair<int, Task>(j, Task.CompletedTask))
        .ToDictionary(p => p.Key, v => v.Value);

    //scenario.Duration is usually '15'. In other words, this test
    //will terminate after generating load for 15 seconds.
    Task.Delay(scenario.Duration * 1000).ContinueWith(x => {
        running = false;
        completionSource.SetResult(true);
    });

    RunWithMultipleClientsLoop();
    completionSource.Task.Wait();
}

对于设置而言，实际的负载生成如下：

public void RunWithMultipleClientsLoop()
{
    //while (running)
    //{
        var idleList = map.Where(x => x.Value.IsCompleted).Select(k => k.Key).ToArray();
        foreach (var client in idleList)
        {
            //I've both of the following.  The `Task.Run` version
            //is about 20% faster for the synchronous test target.
            map[client] = Task.Run(testFuncs[client]); 
            //map[client] = testFuncs[client]();
        }
        Task.WhenAny(map.Values.ToArray())
            .ContinueWith(x => { if (running) RunWithMultipleClientsLoop(); });
    //    Task.WaitAny(map.Values.ToArray());
    //}
}

已注释掉的while循环和Task.WaitAny代表了一种具有几乎相同性能的不同方法。我将其保留以进行实验。

最后一个细节。我传入的每个“客户端”委托都首先包装在一个metrics-capture函数中。指标捕获功能如下所示：

private async Task LoadLogic(Func<Task> testCode)
{
    try
    {
        if (!running)
        {
            slagCount++;
            return;
        }

        //This is where the actual test target method 
        //is called.
        await testCode().ConfigureAwait(false);

        if (running)
        {
            successCount++;
        }
        else
        {
            slagCount++;
        }
    }
    catch (Exception ex)
    {
        if (ex.Message.Contains("Assert"))
        {
            errorCount++;
        }
        else
        {
            exceptionCount++;
        }
    }
}

我的代码运行时，我没有收到任何错误或异常。

好，我做错了什么？在最坏的情况下，我希望异步代码仅比同步稍慢。

为什么（Dapper）异步IO极其慢？

同步测试目标

异步测试目标

Load-Generator

0 个答案: