CUDA重叠数据传输和内核执行，流的隐式同步

Question

1. 阅读CUDA＆＃34;数据传输和内核执行的重叠＆＃34;在＆＃34; CUDA C编程指南＆＃34;中，我有一个问题：数据传输到底是指什么？它是否包含cudaMemsetAsync，cudaMemcpyAsync，cudaMemset，cudaMemcpy。当然，为memcpy分配的内存是固定的。

2. 在隐式同步（流）部分中，该书说明了设备内存集＆＃34;可以序列化流。那么，它是指cudaMemsetAsync，cudaMemcpyAsync，cudaMemcpy，cudaMemcpy吗？我不确定。

Answer 1

最后带有Async的任何函数调用都有一个stream参数。此外，CUDA工具包提供的一些库也可以选择设置流。通过使用它，您可以同时运行多个流。

这意味着，除非您专门创建和设置流，否则您将使用defualt流。例如，没有默认的data transfer和kernel execution流。您将必须创建两个流（或更多），并为它们分配一个选择的任务。

常见的用例是编程指南中提到的两个流。请记住，这仅在您启动多个内核时才有用。在计算当前内核的结果时，您可以获取下一个（独立）内核或当前内核的下一次迭代所需的数据。这可以最大化计算和带宽功能。

对于您提到的函数调用，cudaMemcpy和cudaMemcpyAsync是执行数据传输的唯一函数。我认为cudaMemset和cudaMemsetAsync可以称为数据传输。

cudaMempyAsync和cudaMemsetAsync都可以与流一起使用，而cudaMemset和cudaMemcpy是阻止不使用流的调用。