修复了顺序执行的C#异步方法

时间:2019-04-04 20:55:48

标签: c# postgresql lambda async-await

我遇到的问题是对我正在执行的异步方法的调用是顺序发生的。我正在将呼叫的任务添加到ConcurrentBag中,并等待包中的任务。我不在乎这些电话的结果,我只需要确认它们已完成即可。但是,这些调用是完全按顺序进行的,这非常令人困惑。有问题的方法通过Npgsql使用参数化查询执行一些PostgreSQL查询。调用者获得一棵我们自己的数据树,并拔出树中的所有节点并遍历这些节点并在它们上执行此任务。我还使用了一个自定义AsyncHelper类,该类将遍历IEnumerable实现程序中的任务并等待其中的任务。我的Tree实现和AsyncHelper均已在另一段代码中进行过测试,该代码与该代码的基本原理相同,可以按预期异步执行任务。

我添加了登录函数调用的功能,以确认这些操作是顺序发生的。我还从包装中取出该方法并运行该方法,它仍然执行相同的操作,它顺序发生,并且直到完成后才继续我的循环。我所有的方法都标记为异步,直到循环后我才等待它们。

//method executing sequentially
public static async Task<List<ContactStatistic>> getContactStats(Guid tenantId, DateTime start, DateTime end, Breakdown breakdown) {
    if (!await Postgres.warmConnection(5)) { return null; }
    var hierarchy = await getTreeForTenant<TenantContactStatsNode>(tenantId);

    //perform calculations to determine stats for each element
    var calculationTasks = new ConcurrentBag<Task>();
    var allData = await hierarchy.getAllData();
    var timestampGotAllData = DateTime.Now;

    foreach (var d in allData) {
        calculationTasks.Add(d.getContactStats(start, end, breakdown));
    }

    Console.WriteLine("about to await all the tasks");
    //await the tasks to complete for calculations
    await AsyncHelper.waitAll(calculationTasks);
}


//method it's calling
public async Task getContactStats(DateTime start, DateTime end, Breakdown breakdown) {
    //perform two async postgres calls
    //await postgres calls
    //validate PG response
    //perform manipluation on this object with data from the queries
}

我希望第一个调用调用第二个函数,将任务添加到包中,并在完成后等待它们。实际发生的是该方法正在运行,完成,然后添加到袋子中。

*编辑*

以下是所请求的第二个呼叫的完整代码。它根据时间从数据库中获取一些数据,填补了拉回时间之间的间隔,因此我们有了一个完全顺序的返回列表,其中包括数据库中所有没有数据的时间,并将其放入对象级变量

public async Task getContactStats(DateTime start, DateTime end, Breakdown breakdown) {
    if (breakdown == Breakdown.Month) {
        //max out month start day to include all for the initial month in the initial count
        start = new DateTime(start.Year, start.Month, DateTime.DaysInMonth(start.Year, start.Month));
    } else {
        //day breakdown previous stats should start the day before given start day
        start = start.AddDays(-1);
    }

    var tran = new PgTran();
    var breakdownQuery = breakdown == Breakdown.Day ? Queries.GET_CONTACT_DAY_BREAKDOWN : Queries.GET_CONTACT_MONTH_BREAKDOWN;
    tran.setQueries(Queries.GET_CONTACT_COUNT_BEFORE_DATE, breakdownQuery);
    tran.setParams(new NpgsqlParameter("@tid", tenantId), new NpgsqlParameter("@start", start), new NpgsqlParameter("@end", end));
    var tranResults = await Postgres.getAll<ContactDayStatistic>(tran);
    //ensure transaction returns two query results
    if (tranResults == null || tranResults.Count != 2) { return; }


    //ensure valid past count was retrieved
    var prevCountResult = tranResults[0];
    if (prevCountResult == null || prevCountResult.Count != 1) { return; }
    var prevStat = new ContactDayStatistic(start.Day, start.Month, start.Year, prevCountResult[0].count);
    //ensure valid contact stat breakdown was retrieved
    var statBreakdown = tranResults[1];
    if (statBreakdown == null) { return;}

    var datesInBreakdown = new List<DateTime?>();
    //get all dates in the returned stats
    foreach (var e in statBreakdown) {
        var eventDate = new DateTime(e.year, e.month, e.day);
        if (datesInBreakdown.Find(item => item == eventDate) == null)
            datesInBreakdown.Add(eventDate);
    }
    //sort so they are sequential
    datesInBreakdown.Sort();

    //initialize timeline starting with initial breakdown
    var fullTimeline = new List<ContactStatistic>();
    //convert initial stat to the right type for final display
    fullTimeline.Add(breakdown == Breakdown.Month ? new ContactStatistic(prevStat) : prevStat);
    foreach (var d in datesInBreakdown) {
        //null date is useless, won't occur, nullable date just for default value of null
        if (d == null) { continue; }
        var newDate = d.Value;
        //fill gaps between last date given and this date
        ContactStatistic.fillGaps(breakdown, newDate, prevStat.getDate(), prevStat.count, ref fullTimeline, false);
        //get stat for this day
        var stat = statBreakdown.Find(item => d == new DateTime(item.year, item.month, item.day));
        if (stat == null) { continue; }
        //add last total for a rolling total of count
        stat.count += prevStat.count;
        fullTimeline.Add(breakdown == Breakdown.Month ? new ContactStatistic(stat) : stat);
        prevStat = stat;
    }
    //fill gaps between last date and end
    ContactStatistic.fillGaps(breakdown, end, prevStat.getDate(), prevStat.count, ref fullTimeline, true);
    //cast list to appropriate return type
    contactStats.Clear();
    contactStats = fullTimeline;
}

*编辑2 * 这是AsyncHelper用于等待这些任务的代码。此功能对于使用相同框架的其他代码非常有效,并且基本上只是清理必须等待枚举任务的代码。

public static async Task waitAll(IEnumerable<Task> coll) {
    foreach (var taskToWait in coll) {
        await taskToWait;
    }  
}

*编辑3 * 根据建议,我将waitAll()更改为使用Task.WhenAll()而不是foreach循环,但是问题仍然存在。

public static async Task waitAll(IEnumerable<Task> coll) {
    await Task.WhenAll(coll);
}

*编辑4 * 为了确保不是Postgres调用导致这种情况发生,我将第二种方法更改为仅执行打印行,然后休眠200毫秒以保持执行路径清晰。我仍然注意到这是完全按顺序发生的(甚至导致我的POST到此函数超时,因为实际的实际调用花费了将近20ms)。以下是该更改的代码,以演示

public async Task getContactStats(DateTime start, DateTime end, Breakdown breakdown) {
    Console.WriteLine("CALLED!");
    Thread.Sleep(200);
}

*编辑5 * 根据建议,我尝试了并行的foreach来尝试填充任务的ConcurrentBag,而不是普通的foreach。我在这里遇到一个问题,即并行的foreach在第一次添加完成后就完成了,并且不能一次添加所有任务。

var calculationTasks = new ConcurrentBag<Task>();
var allData = await hierarchy.getAllData();
var timestampGotAllData = DateTime.Now;
Parallel.ForEach(allData, item => {
    Console.WriteLine("trying parallel foreach");
    calculationTasks.Add(item.getContactStats(start, end, breakdown));
});

Console.WriteLine("about to await all the tasks");
//await the tasks to complete for calculations
await AsyncHelper.waitAll(calculationTasks);

*编辑6 * 为了直观起见,我运行了代码并做了一些输出以显示异常情况。执行的代码如下:

foreach (var d in allData) {
    Console.WriteLine("Adding call to bag");
    calculationTasks.Add(d.getContactStats(start, end, breakdown));
    Console.WriteLine("Done adding call to bag");
}

输出为:https://i.imgur.com/3y5S4eS.png

由于每次都打印“ CALLED”,因此“完成!”在“完成向袋中添加呼叫”之前,这些执行是顺序发生的,而不是预期的异步。

2 个答案:

答案 0 :(得分:0)

我的直觉是,这与您正在方法中打开的事务有关。由于这里似乎有一些自定义类,因此很难确切地说明代码中正在发生什么—但是在打开事务时是否可能会发生一些锁定?由于这是在您第一次等待之前发生的,因此必须在等待代码之前“顺序”运行。

您的自定义“ waitall”方法似乎不是问题,但您应考虑删除此方法,并使用内置的Task.WhenAll异步等待它们。

答案 1 :(得分:0)

尝试一下:

foreach (var d in allData) 
{
    calculationTasks.Add(Task.Run(() => d.getContactStats(start, end, breakdown)));
}

//Other code here
//...

Task.WaitAll(calculationTasks.ToArray());

我们实质上是在创建一个任务,它将“运行”您的方法。然后,我们等待这些任务完成。

诚然,我不能完全确定为什么您的版本会被阻止,但这似乎可以解决问题。

更新:

我通过输出线程ID进行了测试,OP的版本在同一线程上执行任务。也许线程被袋子锁定了,这迫使新任务等待吗?我提出的解决方案基于不同的线程ID,我认为这解释了为什么它不会阻塞。