标签： gpu shared-memory gpgpu distributed-system
我在这个问题上看到了一些混杂的资源。我见过的大多数资源都表明GPU并行计算属于共享内存，因为显然本地GPU上的内核可以访问彼此的内存。
何时可以以分布式方式使用GPU？当您在分布式系统中拥有GPU时，每个本地GPU都进行自己的处理，那么分布式系统之间是否存在一些通信？