使用一个内核跨多个卡编程多GPU应用程序/

Question

我对使用CUDA编程多GPU应用感兴趣。

据我所知，可以使用多个GPU来执行并行执行2个或更多个内核。每个内核的数据都驻留在它正在执行的GPU上。

但是，如果我希望我的数据和内核操作跨越多张卡怎么办？如何做到这一点？

CUDA SDK中的simpleMultiGPU示例不是我想要的，因为它基本上在多个GPU上启动相同的内核。没有GPU间通信，这是我感兴趣的。

Answer 1

听起来您对统一虚拟寻址（UVA）和P2P通信感兴趣。咨询http://developer.download.nvidia.com/CUDA/training/cuda_webinars_GPUDirect_uva.pdf。你不应该在不同的CUDA块之间进行通信，但我提到的技术至少应该允许你读取数据并在多个GPU上写入数据，以更灵活的方式访问数据。