所以我在使用 Tasks 处理大量 HTTP 请求时遇到了一些困难。
我想要做的是从 WMTS 创建一个大图像。对于那些不知道的人,WMTS 是一种 Web Map Tile Service。 因此,基本上,您可以通过发送具有正确 tileRow 和 tileColumn 的请求来请求 256x256 的图像图块。因此,在本例中,我尝试构建包含数百甚至数千个此类图像块的图像。
为此,我创建了一个应用程序:
正如您想象的那样,图块的数量呈指数增长。这不会真正影响 CPU 工作,但主要是 I/O 绑定工作。 因此,与其等待每个请求返回,不如在发送下一个请求之前,我认为为此使用 Tasks 是个好主意。创建将处理每个单独请求的任务,并在所有任务完成后构建大图像。
所以这是我已经知道我要请求哪些图块的方法。这里我想递归发送带有任务的请求,直到所有数据都完成(最终使用最大重试机制)。
public Dictionary<Tuple<int, int>, Image> GetTilesParallel(List<Tuple<int, int>> tileMatrix, int retry = 0)
{
//The dictionary we will return
Dictionary<Tuple<int, int>, Image> images = new Dictionary<Tuple<int, int>, Image>();
//The dictionary that we will recursively request if tiles fail.
List<Tuple<int, int>> failedTiles = new List<Tuple<int, int>>();
//To track when tasks are finished
List<Task> tasks = new List<Task>();
foreach (var request in tileMatrix)
{
Tuple<int, int> imageTile = new Tuple<int, int>(request.Item1, request.Item2);
var t = Task.Factory.StartNew(() => { return GetTileData(imageTile.Item1, imageTile.Item2); }, TaskCreationOptions.LongRunning).ContinueWith(tsk =>
{
if (tsk.Status == TaskStatus.RanToCompletion)
{
var response = tsk.Result.Result.Content.ReadAsByteArrayAsync().Result;
images.Add(imageTile, Image.FromStream(new MemoryStream(response)));
}
else
{
failedTiles.Add(imageTile);
}
});
tasks.Add(t);
}
Task.WaitAll(tasks.ToArray());
if (failedTiles.Count > 0)
{
Console.WriteLine($"Retrying {failedTiles.Count} requests");
Thread.Sleep(500);
Dictionary<Tuple<int, int>, Image> retriedImages = GetTilesParallel(failedTiles, retry++);
foreach (KeyValuePair<Tuple<int, int>, Image> retriedImage in retriedImages)
{
images.Add(retriedImage.Key, retriedImage.Value);
}
}
return images;
}
这是实际执行 HTTP 请求的方法(我知道不是最佳的或干净的,但我首先尝试让某些东西工作)。
private async Task<HttpResponseMessage> GetTileData(int tileColumn, int tileRow)
{
WMTSSettings settings = Service.Settings;
Dictionary<string, string> requestParams = new Dictionary<string, string>();
requestParams.Add("Request", "GetTile");
requestParams.Add("Style", "Default");
requestParams.Add("Service", "WMTS");
requestParams.Add("Version", this.Service.Version);
requestParams.Add("TileMatrixSet", settings.WMTSTileMatrixSet);
requestParams.Add("TileMatrix", settings.WMTSTileMatrixSet + ":" + settings.WMTSTileMatrix);
requestParams.Add("Format", settings.ImageFormat);
requestParams.Add("Layer", settings.Layer);
requestParams.Add("TileCol", tileColumn.ToString());
requestParams.Add("TileRow", tileRow.ToString());
string requestString = this.Service.BaseUri;
for (int i = 0; i < requestParams.Count; i++)
{
if (i == 0)
{
requestString += "?";
}
requestString += requestParams.ElementAt(i).Key;
requestString += "=";
requestString += requestParams.ElementAt(i).Value;
if (i != requestParams.Count - 1)
{
requestString += "&";
}
}
CancellationTokenSource source = new CancellationTokenSource();
CancellationToken token = source.Token;
Task<HttpResponseMessage> response = HttppClient.GetAsync(requestString, token);
return await response;
}
我目前面临两个问题,为此我尝试了很多方法:
ContinueWith
任务中,我收到一些奇怪的错误,告诉我“未将对象引用设置为对象的实例”。即使 response
任务中的 imageTile
变量和 ContinueWith
变量不为空?有人可以为我指出这个问题的正确方向吗?或者 Tasks 是可行的方法吗?
答案 0 :(得分:4)
是的,任务是要走的路,但不是,ContinueWith
is not the way to go。这种方法大多是前 async-await 时代的遗物,现在很少有用了。 Task.Factory.StartNew
也是如此:在引入 Task.Run
方法后,您很少需要使用此方法。
创建下载磁贴数据所需任务的一种便捷方法是 LINQ Select
运算符。你可以这样使用它:
async Task<Dictionary<(int, int), Image>> GetAllTileDataAsync(List<(int, int)> tiles)
{
Task<(int, int, Image)>[] tasks = tiles.Select(async tile =>
{
(int tileColumn, int tileRow) = tile;
int retry = 0;
while (true)
{
try
{
using HttpResponseMessage response = await GetTileDataAsync(
tileColumn, tileRow);
response.EnsureSuccessStatusCode();
byte[] bytes = await response.Content.ReadAsByteArrayAsync();
Image image = Image.FromStream(new MemoryStream(bytes));
return (tileColumn, tileRow, image);
}
catch
{
if (retry >= 3) throw;
}
await Task.Delay(1000);
retry++;
}
}).ToArray();
(int, int, Image)[] results = await Task.WhenAll(tasks);
return results.ToDictionary(e => (e.Item1, e.Item2), e => e.Item3);
}
每个图块都投影到一个 Task<(int, int, Image)>
。任务的结果包含有关 tile 的所有初始和获取信息。这样就无需依赖危险的副作用来构建最终的 Dictionary
。
注意上面的代码中没有任何 Task.Factory.StartNew
、.ContinueWith
、.Result
、.Wait()
和 Task.WaitAll
。所有这些方法在现代启用异步的应用程序中都是危险信号。一切都由 async/await 组合发生。 No threads 已创建,没有线程 are blocked,并且您的应用程序达到了最大的可扩展性和响应能力。