使用LinkTo Predicate的TPL数据流阻止

时间:2014-09-07 03:03:35

标签: c# unit-testing task-parallel-library

我有一些块最终会从TransformBlock变为基于LinkTo谓词的其他三个变换块之一。我正在使用DataflowLinkOptions传播完成。问题是当一个谓词被满足并且该块被启动时,我的其余管道继续。似乎管道应该等待这个块首先完成。

这个代码是这样的:

var linkOptions = new DataflowLinkOptions {PropagateCompletion = true};
mainBlock.LinkTo(block1, linkOptions, x => x.Status = Status.Complete);
mainBlock.LinkTo(block2, linkOptions, x => x.Status = Status.Cancelled);
mainBlock.LinkTo(block3, linkOptions, x => x.Status = Status.Delayed);
mainBlock.LinkTo(DataflowBlock.NullTarget<Thing>(), linkOptions);

现在,这并不像我说的那样有效,所以我发现获得我想要的行为的唯一方法是取出linkOptions并将以下内容添加到lambda中mainBlock。

mainBlock = new TransformBlock<Thing,Thing>(input =>
{
    DoMyStuff(input);

    if (input.Status = Status.Complete)
    {
        mainBlock.Completion.ContinueWith(t => block1.Complete());
    }
    if (input.Status = Status.Cancelled)
    {
        mainBlock.Completion.ContinueWith(t => block2.Complete());
    }
    if (input.Status = Status.Delayed)
    {
        mainBlock.Completion.ContinueWith(t => block3.Complete());
    }

    return input;
});

所以问题是,这是让它发挥作用的唯一方法吗?

顺便说一句,这已在我的单元测试中运行,其中一个数据项通过它运行以尝试调试管道行为。每个块都经过多次单元测试单独测试。那么在我的管道单元测试中发生的事情就是在块执行完毕之前命中了assert,因此失败了。

如果我删除block2和block3链接并使用linkOptions调试测试,它可以正常工作。

2 个答案:

答案 0 :(得分:6)

您的问题不在于问题中的代码,而是正常工作:当主程序段完成时,所有三个后续程序块都标记为完成。

问题在于结束块:您也在那里使用PropagateCompletion,这意味着当前三个块的任何完成时,结束块被标记为完成。你想要的是在完成所有三个方块并且你的答案中的Task.WhenAll().ContinueWith()组合完成时将其标记为完成(虽然该片段的第一部分是不必要的,但PropagateCompletion会完全相同)。

  

事实证明,链接选项传播(至少这是我的猜测)将传播不满足linkTo中谓词的块的完成。

是的,它总是传播完成。完成没有与之关联的任何项目,因此将谓词应用于它是没有任何意义的。也许事实上你总是只有一个项目(这并不常见)会让你更加困惑吗?

  

如果我的猜测是正确的,我觉得这是链接选项完成传播中的错误或设计错误。如果块从未使用过,为什么要完成?

为什么不应该这样?对我来说,这是完全合理的:即使这次没有Status.Delayed的项目,你仍然想要完成处理这些项目的块,这样任何后续代码都可以知道所有延迟的项目都是已处理完毕。事实并非如此。


无论如何,如果经常遇到这种情况,您可能希望创建一个辅助方法,同时将多个源块链接到单个目标块并正确传播完成:

public static void LinkTo<T>(
    this IReadOnlyCollection<ISourceBlock<T>> sources, ITargetBlock<T> target,
    bool propagateCompletion)
{
    foreach (var source in sources)
    {
        source.LinkTo(target);
    }

    if (propagateCompletion)
        Task.WhenAll(sources.Select(source => source.Completion))
            .ContinueWith(_ => target.Complete());
}

用法:

new[] { block1, block2, block3 }.LinkTo(endBlock, propagateCompletion: true);

答案 1 :(得分:0)

确定。所以我首先要感谢科里。当我第一次阅读他的评论时,我有点生气,因为我觉得我的代码很好地说明了这个概念,并且很容易变成一个工作版本。但无论如何,我觉得有必要做一个我可以发布的完整的可测试版本,因为他的评论。

在我的测试中,令人惊讶的部分是即使它模仿了我的真实代码,我认为会失败的路径通过,我通过的路径也会失败。这让我头晕了一下。所以我开始对原始代码进行更多的排列。基本上我创建了同步的块和异步的块,并创建了两种流水线。总共四个,2个同步和2个异步,每个链接选项中有一个用于传播,另一个用于MainBlock中的完成任务,如图所示。

在异步任务中添加了一些任务延迟后,我发现同步版本通过了测试而异步版本失败了。

因此,问题的最终解决方案不是上述问题。事实证明,链接选项传播(至少这是我的猜测)将传播不满足linkTo中谓词的块的完成。因此,当具有完成状态的事物降下时,它将进入Block1。

哦,我应该在完整的测试代码中指出我制作了所有块1,2&amp; 3连接到相同的EndBlock,原始代码中未显示。

无论如何,在谓词满足并且Thing进入Block1之后,我认为第2和第3块已经完成了。这导致EndBlock完成我们在单元测试中等待的时间,并且Assert失败,因为Block1尚未完成其工作。

如果我的猜测是正确的,我觉得这是链接选项完成传播中的错误或设计错误。如果块从未使用过,为什么要完成?

所以,这就是我为解决问题所做的工作。我拿出链接选项并手动连接完成事件。像这样:

MainBlock.Completion.ContinueWith(t =>
{
Block1.Complete();
Block2.Complete();
Block3.Complete();
});

Task.WhenAll(Block1.Completion, Block2.Completion, Block3.Completion)
.ContinueWith(t =>
{
    EndBlock.Complete();
});

这个工作正常,当移动到我的真实代码也工作。 Task.WhenAll让我相信未使用的块已设置为完成以及为什么自动传播是问题。

我希望这有助于某人。当我发布所有测试代码时,我会回来并添加一个链接。

编辑: 以下是测试代码gist https://gist.github.com/jmichas/bfab9cec84f0d1e40e12

的链接