拨打许多网络服务的最佳方式是什么?

时间:2016-01-06 13:06:20

标签: c# multithreading asynchronous parallel-processing

我有30家子公司,每家公司都实施了他们的网络服务(采用不同的技术)。

我需要实现一个Web服务来聚合它们,例如,所有子公司Web服务都有一个名为GetUserPoint(int nationalCode)的Web方法,我需要实现我的Web服务,它将调用所有这些并收集所有回复(例如积分总和)。

这是我的基类:

public abstract class BaseClass
{ // all same attributes and methods
  public long GetPoint(int nationalCode);
}

对于每个子公司Web服务,我实现了一个继承此基类并定义自己的GetPoint方法的类。

public class Company1
{
  //implement own GetPoint method (call a web service).
}

public class CompanyN
{
  //implement own GetPoint method (call a web service).
}

所以,这是我的网络方法:

        [WebMethod]
        public long MyCollector(string nationalCode)
        {

           BaseClass[] Clients = new BaseClass[]  { new Company1(),//... ,new Company1()}

           long Result = 0;
           foreach (var item in Clients)
           {
                long ResultTemp = item.GetPoint(nationalCode);
                Result += ResultTemp;
           }
       return Result;
       }

好的,它有效,但速度很慢,因为每个子公司的Web服务都托管在不同的服务器上(在互联网上)。

我可以使用这样的并行编程:(这称为并行编程!?)

    foreach (var item in Clients)
    {
                    Tasks.Add(Task.Run(() =>
                        {
                        Result.AddRange(item.GetPoint(MasterLogId, mobileNumber));                  
                    }
      }

我认为并行编程(和线程)对这个解决方案并不好,因为我的解决方案是IO绑定(不是CPU密集型)!

调用每个外部Web服务都很慢,对不对?许多线程正在等待获得响应!

我认为异步编程是最好的方法,但我是异步编程和并行编程的新手。

最好的方法是什么? (parallel.foreach - async TAP - async APM - async EAP -threading)

请给我写一个例子。

2 个答案:

答案 0 :(得分:8)

看到有人完成他们的作业令人耳目一新。

首先,从.NET 4开始(今天仍然如此)TAP是.NET中异步工作流的首选技术。任务很容易组合,如果他们提供真正的Task<T> - 返回API,您可以轻松地并行化Web服务调用。现在你已经用Task.Run“伪造”了它,暂时这对你的目的来说已经足够了。当然,你的线程池线程将花费大量的时间来阻塞,但是如果服务器负载不是很高,即使不是理想的事情,你也可以很好地解决它。

您只需要在代码中修复潜在的竞争条件(最后更多内容)。

如果您想遵循最佳做法,那么您可以选择真正的TAP。如果您的API提供Task - 即时返回方法,那很容易。如果没有,它不会游戏结束,因为APM和EAP可以很容易地转换为TAP。 MSDN参考:https://msdn.microsoft.com/en-us/library/hh873178(v=vs.110).aspx

我还会在这里添加一些转换示例。

APM (取自另一个SO问题):

MessageQueue不提供ReceiveAsync方法,但我们可以通过Task.Factory.FromAsync来播放球:

public static Task<Message> ReceiveAsync(this MessageQueue messageQueue)
{
    return Task.Factory.FromAsync(messageQueue.BeginReceive(), messageQueue.EndPeek);
}

...

Message message = await messageQueue.ReceiveAsync().ConfigureAwait(false);

如果您的网络服务代理使用BeginXXX / EndXXX方法,则可以采用此方法。

<强> EAP

假设您有一个源自SoapHttpClientProtocol的旧Web服务代理,只使用基于事件的异步方法。您可以按如下方式将它们转换为TAP:

public Task<long> GetPointAsyncTask(this PointWebService webService, int nationalCode)
{
    TaskCompletionSource<long> tcs = new TaskCompletionSource<long>();

    webService.GetPointAsyncCompleted += (s, e) =>
    {
        if (e.Cancelled)
        {
            tcs.SetCanceled();
        }
        else if (e.Error != null)
        {
            tcs.SetException(e.Error);
        }
        else
        {
            tcs.SetResult(e.Result);
        }
    };

    webService.GetPointAsync(nationalCode);

    return tcs.Task;
}

...

using (PointWebService service = new PointWebService())
{
    long point = await service.GetPointAsyncTask(123).ConfigureAwait(false);
}

汇总结果时避免比赛

关于聚合并行结果,您的TAP循环代码几乎正确,但您需要避免改变Task主体内的共享状态,因为它们可能并行执行。在您的情况下共享状态为Result - 这是某种集合。如果这个集合不是线程安全的(即如果它是一个简单的List<long>),那么你就有竞争条件,你可能会在Add上获得异常和/或删除结果(我是假设代码中的AddRange是拼写错误,但如果不是 - 上述内容仍适用)。

一个简单的异步友好重写可以修复你的种族:

List<Task<long>> tasks = new List<Task<long>>();

foreach (BaseClass item in Clients) {
    tasks.Add(item.GetPointAsync(MasterLogId, mobileNumber));                  
}

long[] results = await Task.WhenAll(tasks).ConfigureAwait(false);

如果您现在决定懒惰并坚持使用Task.Run解决方案,更正的版本将如下所示:

List<Task<long>> tasks = new List<Task<long>>();

foreach (BaseClass item in Clients)
{
    Task<long> dodgyThreadPoolTask = Task.Run(
        () => item.GetPoint(MasterLogId, mobileNumber)
    );

    tasks.Add(dodgyThreadPoolTask);                  
}

long[] results = await Task.WhenAll(tasks).ConfigureAwait(false);

答案 1 :(得分:2)

您可以创建GetPoint的异步版本:

public abstract class BaseClass
{ // all same attributes and methods
    public abstract long GetPoint(int nationalCode);

    public async Task<long> GetPointAsync(int nationalCode)
    {
         return await GetPoint(nationalCode);
    }
}

然后,收集每个客户呼叫的任务。之后,使用Task.WhenAll执行所有任务。这将并行执行所有这些操作。另外,正如Kirill所指出的,您可以等待每项任务的结果:

var tasks = Clients.Select(x => x.GetPointAsync(nationalCode));
long[] results = await Task.WhenAll(tasks);

如果您不想使聚合方法异步,您可以通过调用.Result而不是等待来收集结果,如下所示:

long[] results = Task.WhenAll(tasks).Result;