CUDA图中的节点如何连接？

Question

CUDA graphs是从多个操作合成复杂操作的新方法。使用“流捕获”，您似乎可以运行多种操作，包括CuBlas和类似的库操作，并将它们捕获为单一的“元内核”。

我不清楚这些图表的数据流如何工作。在捕获阶段，我为输入分配内存A，为临时值分配内存B，为输出分配内存C。但是，当我在图形中捕获它时，我没有捕获内存分配。因此，当我实例化这些图的多个副本时，它们无法共享输入内存A，临时工作区B或输出内存C。

然后如何工作？即当我调用cudaGraphLaunch时，看不到提供输入参数的方法。我捕获的图形基本上以cudaMemcpyHostToDevice开始，图形如何知道要复制哪个主机内存以及将其放置在何处？

背景：我发现CUDA在内核启动时严重瓶颈；移植到CUDA时，我的AVX2代码慢了13倍。内核本身看起来不错（根据NSight），这只是安排数十万个内核启动的开销。

Answer 1

通常在图形定义/实例化或“捕获”之外进行内存分配。

但是，图形提供了"memory copy" nodes，您通常会在其中进行cudaMemcpy类型的操作。

在图形定义时，您为每个图形节点传递一组参数（这取决于节点类型，例如cudaMemcpy操作的参数，如果它是内存复制节点或内核）参数（如果它是内核节点）。这些参数确定执行该图时将使用的实际内存分配。

如果要使用一组不同的分配，一种方法是为存在更改的节点实例化具有不同参数的另一个图。可以通过重复整个过程，或从现有图形开始，对节点参数进行更改，然后使用这些更改实例化图形来完成此操作。

当前，在cuda图形中，无法执行将节点参数与特定图形/节点的运行时绑定（即在图形“启动”时）。当然，将来的发行版中可能会引入新功能。

请注意，CUDA 10中提供了一个名为simpleCudaGraphs的CUDA示例代码，该示例代码演示了内存复制节点和内核节点的用法，以及如何在节点之间创建依赖关系（有效地执行依赖关系）。 / p>