Question

我有一个要求，就是处理X个文件，通常我们每天可以收到大约100个文件，是一个zip文件所以我必须打开它，创建一个流然后将它发送到一个WebApi服务，这是一个工作流程，此工作流程再调用两个WebApi步骤。

我实现了一个循环遍历文件的控制台应用程序，然后调用一个包装器，使用HttpWebRequest.GetResponse（）进行REST调用。

我强调测试了解决方案并创建了11K文件，在同步版本中处理所有文件大约需要17分钟，但我想创建它的异步版本并且能够使用等待HttpWebRequest.GetResponseAsync（）

这是Async版本：

private async Task<KeyValuePair<HttpStatusCode, string>> REST_CallAsync(
        string httpMethod,
        string url,
        string contentType,
        object bodyMessage = null,
        Dictionary<string, object> headerParameters = null,
        object[] queryStringParamaters = null,
        string requestData = "")
    {
        try
        {
            HttpWebRequest req = (HttpWebRequest)HttpWebRequest.Create("some url");
            req.Method = "POST";
            req.ContentType = contentType;

                //Adding zip stream to body
                var reqBodyBytes = ReadFully((Stream)bodyMessage);
                req.ContentLength = reqBodyBytes.Length;
                Stream reqStream = req.GetRequestStream();
                reqStream.Write(reqBodyBytes, 0, reqBodyBytes.Length);
                reqStream.Close();                
            //Async call
            var resp = await req.GetResponseAsync();
            var httpResponse = (HttpWebResponse)resp as HttpWebResponse;
            var responseData = new StreamReader(resp.GetResponseStream()).ReadToEnd();                
            return new KeyValuePair<HttpStatusCode,string>(httpResponse.StatusCode, responseData);
        }
        catch (WebException webEx)
        {
        //something
        }
        catch (Exception ex)
        {
        //something
        }

在我的控制台应用程序中我有一个循环打开并调用async（封面下的CallServiceAsync调用上面的方法）

foreach (var zipFile in Directory.EnumerateFiles(directory))
                                {
                                        using (var zipStream = System.IO.File.OpenRead(zipFile))
                                        {
                                            await _restFulService.CallServiceAsync<WorkflowResponse>(
                                            zipStream,
                                            headerParameters,
                                            null,
                                            true);
                                        }
                                        processId++;
                                    }
                                }

最终发生的事情是只有2K的11K被处理并且没有抛出任何异常所以我一无所知所以我改变了我称之为异步的版本：

foreach (var zipFile in Directory.EnumerateFiles(directory))
                                {      
                                        using (var zipStream = System.IO.File.OpenRead(zipFile))
                                        {
                                            tasks.Add(_restFulService.CallServiceAsync<WorkflowResponse>(
                                            zipStream,
                                            headerParameters,
                                            null,
                                            true));
                                        }
                                    }
                                }

还有另一个循环来等待任务：

foreach (var task in await System.Threading.Tasks.Task.WhenAll(tasks))
                {
                    if (task.Value != null)
                    {
                        Console.WriteLine("Ending Process");
                    }
                }

现在我遇到了一个不同的错误，当我处理三个文件时，第三个文件收到：

客户端已断开连接，因为基础请求已完成。不再提供HttpContext。

我的问题是，我在这里做错了什么？我使用SimpleInjector作为IoC会是这个问题吗？

当你做WhenAll等待每个线程运行时？是不是让它同步所以它等待一个线程完成以执行下一个？我是这个异步世界的新手，所以任何帮助都会非常感激。

Answer 1

对于那些在我的问题中添加-1的人而不是提供某种类型的解决方案只是建议一些没有意义的东西，这里是答案，并且为什么尽可能多地指定详细信息是有用的。

第一个问题，因为我正在使用IIS Express，如果我没有运行我的解决方案（F5），那么Web应用程序就不可用了，这种情况有时并非总是发生在我身上。

第二个问题和令我头疼的问题是，并非所有文件都得到了处理，我之前应该知道这个问题的原因，就是在控制台应用程序中使用async - await。我通过执行以下操作强制我的控制台应用程序处理异步：

static void Main(string[] args)
    {
        System.Threading.Tasks.Task.Run(() => MainAsync(args)).Wait();
    }

    static async void MainAsync(string[] args)
    {
      //rest of code

然后，如果你在我的foreach中注意到我有await关键字，发生了什么是概念await将控制流发回给调用者，在这种情况下，OS是调用Console App的那个（这就是为什么没有'使用async太有意义了 - 在控制台应用程序中等待，我这样做是因为我错误地通过调用异步方法来使用等待。结果是我的进程只处理了一些X数量的文件，所以我最终做的是：

添加任务列表，与我上面的方法相同：

tasks.Add(_restFulService.CallServiceAsync<WorkflowResponse>(....

运行线程的方法是（在我的控制台应用程序中）：

ExecuteAsync(tasks);

最后我的方法：

static void ExecuteAsync(List<System.Threading.Tasks.Task<KeyValuePair<HttpStatusCode, WorkflowResponse>>> tasks)
    {
         System.Threading.Tasks.Task.WhenAll(tasks).Wait();
    }

更新：根据Scott的反馈，我改变了执行线程的方式。

现在我能够处理我的所有文件，我测试了它并在我的同步过程中处理1000个文件花费了大约160+秒来运行所有过程（我有一个三个步骤的工作流程来处理文件）当我把我的异步过程放到位时，花费了80多秒，所以几乎有一半的时间。在我的IIS生产服务器中，我相信执行时间会更短。

希望这有助于面对此类问题的任何人。

异步循环不再有可用的HttpContext

1 个答案: