我遇到的问题是对我正在执行的异步方法的调用是顺序发生的。我正在将呼叫的任务添加到ConcurrentBag中,并等待包中的任务。我不在乎这些电话的结果,我只需要确认它们已完成即可。但是,这些调用是完全按顺序进行的,这非常令人困惑。有问题的方法通过Npgsql使用参数化查询执行一些PostgreSQL查询。调用者获得一棵我们自己的数据树,并拔出树中的所有节点并遍历这些节点并在它们上执行此任务。我还使用了一个自定义AsyncHelper类,该类将遍历IEnumerable实现程序中的任务并等待其中的任务。我的Tree实现和AsyncHelper均已在另一段代码中进行过测试,该代码与该代码的基本原理相同,可以按预期异步执行任务。
我添加了登录函数调用的功能,以确认这些操作是顺序发生的。我还从包装中取出该方法并运行该方法,它仍然执行相同的操作,它顺序发生,并且直到完成后才继续我的循环。我所有的方法都标记为异步,直到循环后我才等待它们。
//method executing sequentially
public static async Task<List<ContactStatistic>> getContactStats(Guid tenantId, DateTime start, DateTime end, Breakdown breakdown) {
if (!await Postgres.warmConnection(5)) { return null; }
var hierarchy = await getTreeForTenant<TenantContactStatsNode>(tenantId);
//perform calculations to determine stats for each element
var calculationTasks = new ConcurrentBag<Task>();
var allData = await hierarchy.getAllData();
var timestampGotAllData = DateTime.Now;
foreach (var d in allData) {
calculationTasks.Add(d.getContactStats(start, end, breakdown));
}
Console.WriteLine("about to await all the tasks");
//await the tasks to complete for calculations
await AsyncHelper.waitAll(calculationTasks);
}
//method it's calling
public async Task getContactStats(DateTime start, DateTime end, Breakdown breakdown) {
//perform two async postgres calls
//await postgres calls
//validate PG response
//perform manipluation on this object with data from the queries
}
我希望第一个调用调用第二个函数,将任务添加到包中,并在完成后等待它们。实际发生的是该方法正在运行,完成,然后添加到袋子中。
*编辑*
以下是所请求的第二个呼叫的完整代码。它根据时间从数据库中获取一些数据,填补了拉回时间之间的间隔,因此我们有了一个完全顺序的返回列表,其中包括数据库中所有没有数据的时间,并将其放入对象级变量
public async Task getContactStats(DateTime start, DateTime end, Breakdown breakdown) {
if (breakdown == Breakdown.Month) {
//max out month start day to include all for the initial month in the initial count
start = new DateTime(start.Year, start.Month, DateTime.DaysInMonth(start.Year, start.Month));
} else {
//day breakdown previous stats should start the day before given start day
start = start.AddDays(-1);
}
var tran = new PgTran();
var breakdownQuery = breakdown == Breakdown.Day ? Queries.GET_CONTACT_DAY_BREAKDOWN : Queries.GET_CONTACT_MONTH_BREAKDOWN;
tran.setQueries(Queries.GET_CONTACT_COUNT_BEFORE_DATE, breakdownQuery);
tran.setParams(new NpgsqlParameter("@tid", tenantId), new NpgsqlParameter("@start", start), new NpgsqlParameter("@end", end));
var tranResults = await Postgres.getAll<ContactDayStatistic>(tran);
//ensure transaction returns two query results
if (tranResults == null || tranResults.Count != 2) { return; }
//ensure valid past count was retrieved
var prevCountResult = tranResults[0];
if (prevCountResult == null || prevCountResult.Count != 1) { return; }
var prevStat = new ContactDayStatistic(start.Day, start.Month, start.Year, prevCountResult[0].count);
//ensure valid contact stat breakdown was retrieved
var statBreakdown = tranResults[1];
if (statBreakdown == null) { return;}
var datesInBreakdown = new List<DateTime?>();
//get all dates in the returned stats
foreach (var e in statBreakdown) {
var eventDate = new DateTime(e.year, e.month, e.day);
if (datesInBreakdown.Find(item => item == eventDate) == null)
datesInBreakdown.Add(eventDate);
}
//sort so they are sequential
datesInBreakdown.Sort();
//initialize timeline starting with initial breakdown
var fullTimeline = new List<ContactStatistic>();
//convert initial stat to the right type for final display
fullTimeline.Add(breakdown == Breakdown.Month ? new ContactStatistic(prevStat) : prevStat);
foreach (var d in datesInBreakdown) {
//null date is useless, won't occur, nullable date just for default value of null
if (d == null) { continue; }
var newDate = d.Value;
//fill gaps between last date given and this date
ContactStatistic.fillGaps(breakdown, newDate, prevStat.getDate(), prevStat.count, ref fullTimeline, false);
//get stat for this day
var stat = statBreakdown.Find(item => d == new DateTime(item.year, item.month, item.day));
if (stat == null) { continue; }
//add last total for a rolling total of count
stat.count += prevStat.count;
fullTimeline.Add(breakdown == Breakdown.Month ? new ContactStatistic(stat) : stat);
prevStat = stat;
}
//fill gaps between last date and end
ContactStatistic.fillGaps(breakdown, end, prevStat.getDate(), prevStat.count, ref fullTimeline, true);
//cast list to appropriate return type
contactStats.Clear();
contactStats = fullTimeline;
}
*编辑2 * 这是AsyncHelper用于等待这些任务的代码。此功能对于使用相同框架的其他代码非常有效,并且基本上只是清理必须等待枚举任务的代码。
public static async Task waitAll(IEnumerable<Task> coll) {
foreach (var taskToWait in coll) {
await taskToWait;
}
}
*编辑3 * 根据建议,我将waitAll()更改为使用Task.WhenAll()而不是foreach循环,但是问题仍然存在。
public static async Task waitAll(IEnumerable<Task> coll) {
await Task.WhenAll(coll);
}
*编辑4 * 为了确保不是Postgres调用导致这种情况发生,我将第二种方法更改为仅执行打印行,然后休眠200毫秒以保持执行路径清晰。我仍然注意到这是完全按顺序发生的(甚至导致我的POST到此函数超时,因为实际的实际调用花费了将近20ms)。以下是该更改的代码,以演示
public async Task getContactStats(DateTime start, DateTime end, Breakdown breakdown) {
Console.WriteLine("CALLED!");
Thread.Sleep(200);
}
*编辑5 * 根据建议,我尝试了并行的foreach来尝试填充任务的ConcurrentBag,而不是普通的foreach。我在这里遇到一个问题,即并行的foreach在第一次添加完成后就完成了,并且不能一次添加所有任务。
var calculationTasks = new ConcurrentBag<Task>();
var allData = await hierarchy.getAllData();
var timestampGotAllData = DateTime.Now;
Parallel.ForEach(allData, item => {
Console.WriteLine("trying parallel foreach");
calculationTasks.Add(item.getContactStats(start, end, breakdown));
});
Console.WriteLine("about to await all the tasks");
//await the tasks to complete for calculations
await AsyncHelper.waitAll(calculationTasks);
*编辑6 * 为了直观起见,我运行了代码并做了一些输出以显示异常情况。执行的代码如下:
foreach (var d in allData) {
Console.WriteLine("Adding call to bag");
calculationTasks.Add(d.getContactStats(start, end, breakdown));
Console.WriteLine("Done adding call to bag");
}
输出为:https://i.imgur.com/3y5S4eS.png
由于每次都打印“ CALLED”,因此“完成!”在“完成向袋中添加呼叫”之前,这些执行是顺序发生的,而不是预期的异步。
答案 0 :(得分:0)
我的直觉是,这与您正在方法中打开的事务有关。由于这里似乎有一些自定义类,因此很难确切地说明代码中正在发生什么—但是在打开事务时是否可能会发生一些锁定?由于这是在您第一次等待之前发生的,因此必须在等待代码之前“顺序”运行。
您的自定义“ waitall”方法似乎不是问题,但您应考虑删除此方法,并使用内置的Task.WhenAll异步等待它们。
答案 1 :(得分:0)
尝试一下:
foreach (var d in allData)
{
calculationTasks.Add(Task.Run(() => d.getContactStats(start, end, breakdown)));
}
//Other code here
//...
Task.WaitAll(calculationTasks.ToArray());
我们实质上是在创建一个任务,它将“运行”您的方法。然后,我们等待这些任务完成。
诚然,我不能完全确定为什么您的版本会被阻止,但这似乎可以解决问题。
更新:
我通过输出线程ID进行了测试,OP的版本在同一线程上执行任务。也许线程被袋子锁定了,这迫使新任务等待吗?我提出的解决方案基于不同的线程ID,我认为这解释了为什么它不会阻塞。