L2缓存位于何处？片上还是片外？

Question

当我在NVIDIA fermi GPU中研究共享L2缓存时，我认为L2缓存应该与L1缓存和SM一起位于芯片上。但是，我看到一些CUDA材料将L2缓存描述为片外存储器。然后，我对L2缓存更加困惑，因为访问L2缓存需要100多个周期。

有没有评论可以了解NVIDIA GPU中的L2缓存？

Answer 1

GPU由许多流式多处理器（SM）组成，每个SM的SIMT宽度通常为8到32（Fermi系列有16个SM，SIMT宽度为32，而AMD的ATI 5870 Evergreen有20个SM，SIMT宽度为16）。每个SM与专用L1数据高速缓存和只读纹理以及常量高速缓存以及低延迟共享存储器（暂存存储器）相关联。每个MC都与一部分共享L2缓存相关联，以便更快地访问缓存数据。

MC和L2都在芯片上。