Question

我正在尝试make as many HTTP requests to a URL as possible, as quickly as possible。

我正在使用此代码允许我限制最大并行度，所以我不会通过一次产生大量Tasks来溢出内存。

    public static Task ForEachAsync<T>(this IEnumerable<T> source, int dop, Func<T, Task> body)
    {
        return Task.WhenAll(
            from partition in Partitioner.Create(source).GetPartitions(dop)
            select Task.Run(async delegate {
                using (partition)
                    while (partition.MoveNext())
                        await body(partition.Current);
            }));
    }

这似乎工作正常。

body()基本归结为：

async Task Body()
{
    var r = WebRequest.Create("// the url");
    await r.GetResponseAsync();
}

但是，我似乎在某处遇到了瓶颈。如果我尝试进行2500次迭代，dop的值不同，我会得到以下结果：

DOP: 50
Total Time: 00:00:14.4801781
Average (ms): 246.6088
StDev: 84.1327983759009

DOP: 75
Total Time: 00:00:09.8089530
Average (ms): 265.758
StDev: 110.22912244956

DOP: 100
Total Time: 00:00:11.9899793
Average (ms): 344.9168
StDev: 173.281468939295

DOP: 200
Total Time: 00:00:09.1512825
Average (ms): 627.0492
StDev: 572.616238312676

DOP: 500
Total Time: 00:00:09.3556978
Average (ms): 1361.5328
StDev: 1798.70589239157

DOP: 750
Total Time: 00:00:12.6076035
Average (ms): 2009.058
Normal Total: 5022646
StDev: 2348.20874093199


DOP: 1000
Total Time: 00:00:11.4721195
Average (ms): 2453.782
StDev: 2481.56238190299

DOP: 2000
Total: 00:00:11.6039888
Average (ms): 4100.5536
StDev: 2459.36983911063

这似乎表明dop=50小于瓶颈。然而，当你超过dop~=100时，你会注意到每个请求的Average时间（即Func<T, Task> body运行2500次所需的平均时间）几乎呈线性增长使用DOP（这些结果确实有点噪音，但它们可重复，但误差很小）。

这表明工作body正在做一个“队列”，对吧？

我已经设置了

ServicePointManager.DefaultConnectionLimit = int.MaxValue;

如果我这样做

servicePoint = ServicePointManager.FindServicePoint("// the url", null);

并监控

servicePoint.CurrentConnections

每次执行body时，它总是等于dop（除了初始加速和尾部关闭）。

我已经尝试过各种网络，所以它不太可能是基于硬件的，它不应该是远程服务器，因为它设计用于大量入站负载（而不是我所说的数字甚至很重）

如何更好地描述我正在做的事情？

Answer 1

执行9到11秒之间所有工作级别的总时间。这是有道理的，因为当增加DOP（指数级）时，您最终会使后端资源或网络或其他东西饱和。

我敢打赌，如果您发布较低的DOP基准数字，我们会看到更高的总时间。

当你将此时的并发请求数加倍时，平均完成时间会加倍。

查看以每秒物品计算的吞吐量或总时间。这是一个有趣的指标。每个项目的延迟不是。

如何确定.NET中的并发HTTP请求瓶颈？

1 个答案: