如何在没有 Tensor Core 的情况下运行 Tensor Core 指令？

Question

我正在使用 CUDA 的 WMMA API 在 GTX 1660 Ti 上增加片段。这个 GPU 没有 Tensor Core，但是当我查看为我的代码生成的 SASS 时，我看到了 HMMA.1688.F32 指令，它们是 Tensor Core 指令！怎么会这样？

相关信息：

• NVIDIA 确认我的卡没有 Tensor Core：https://www.nvidia.com/en-eu/geforce/10-series/（比较 GTX 10、GTX 16 和 RTX 20 系列的技术特性表）。
• HMMA.1688.F32 指令链接到张量核心单元：
  • https://developer.download.nvidia.com/video/gputechconf/gtc/2019/presentation/s9839-discovering-the-turing-t4-gpu-architecture-with-microbenchmarks.pdf
  • https://ieeexplore.ieee.org/document/9139835（访问需要帐户，但更详细）

Answer 1

为了代码二进制兼容性，图灵家族的“非张量核心”成员具有 hardware in the SM 将处理张量核心指令，尽管与张量核心单元相比吞吐量相对较低。