Question

我正在尝试实现.NET 4 helper / utility类，它应该根据webtesting工具的url列表检索HTML页面源。该解决方案应具有可扩展性并具有高性能。

我已经研究并尝试了很多天不同的解决方案，但找不到合适的解决方案。

根据我的理解，实现我的目标的最佳方法是使用使用TPL并行运行的异步webrequests。

为了完全控制标题等我正在使用HttpWebResponse而不是包装HttpWebResponse的WebClient。在某些情况下，输出应链接到其他任务，因此使用TPL任务可能有意义。

在许多不同的试验/方法之后，我迄今取得的成就，

实施基本的同步，异步（APM）和并行（使用TPL任务）解决方案，以查看不同解决方案的性能水平。
要查看异步并行解决方案的性能，我使用了APM方法，BeginGetResponse和BeginRead，并在Parallel.ForEach中运行它。一切都很好，我对表现感到满意。不知怎的，我觉得使用简单的Parallel.ForEach不是方法，例如我不知道如何使用任务链。
然后我尝试使用TaskCompletionSource和迭代器来迭代APM流程，使用包装APM解决方案的任务来完成更复杂的系统。我相信这个解决方案可能就是我正在寻找的，但有一个奇怪的延迟，在6-10秒之间，当运行500个网址列表时会发生2-3次。

根据日志，执行已返回到发生延迟时在循环中调用异步提取的线程。当执行移回循环时，延迟不会发生，只需2-3次，其他时候工作正常。看起来循环线程会创建一组由其他线程处理的任务，而大多数/所有任务都完成后，在循环继续创建剩余任务之前会有延迟（6-8s），其他线程再次处于活动状态

循环内迭代器的原理是：

IEnumerable<Task> DoExample(string input) 
    { 
    var aResult = DoAAsync(input); 
    yield return aResult; 
    var bResult = DoBAsync(aResult.Result); 
    yield return bResult; 
    var cResult = DoCAsync(bResult.Result); 
    yield return cResult; 
    … 
    }

Task t = Iterate(DoExample(“42”));

我正在使用System.Net.Service.Manager.DefaultConnectionLimit解析连接限制并使用ThreadPool.RegisterWaitForSingleObject

我的问题很简单，实现帮助程序/实用程序类以检索html页面的最佳方法是：

具有可扩展性和高性能
使用webrequests
很容易被链接到其他任务
能够使用超时
使用.NET 4 framework

如果您认为使用上面介绍的APM，TaskCompletionSource和iterator的解决方案很好，我将不胜感激任何尝试解决延迟问题的帮助。

我对C＃和Windows开发都很陌生，所以请不要介意我正在尝试的东西是不是太有意义。

任何帮助都会受到高度赞赏，因为如果没有解决这个问题，我必须放弃我的测试工具开发。

由于

Answer 1

在TPL之前的.NET中使用迭代器是一个很好的解决方案（例如，MS Robotics的协调和并发运行时（CCR）大量使用它们并帮助激发了TPL）。一个问题是单独的迭代器不能满足您的需求 - 您还需要一个调度程序来有效地分配工作负载。那个几乎由你联系到的Stephen Toub的片段完成 - 但请注意一行：

enumerator.Current.ContinueWith(recursiveBody, TaskContinuationOptions.ExecuteSynchronously);

我认为你看到的间歇性问题可能与强制“ExecuteSynchronously”有关 - 它可能导致可用内核/线程的工作分配不均。

看看斯蒂芬提出的其他一些替代方案in his blog article。特别是，看看正在做一个简单链接的ContinueWith（）调用会做什么（如果需要，然后匹配Unwrap（）调用）。语法不是最漂亮的，但它是最简单的，并且尽可能少地干扰底层的工作窃取运行时，所以你希望得到更好的结果。

如何使用异步Web请求进行多线程处理

1 个答案: