火炬 - 如何启用fp16？

Question

在Soumith's benchmark上，Torch有CUDNN [R4] -fp16和CUDNN [R4] -fp32基准。

如何在Torch上启用浮点数16？

我发现了诸如this one之类的讨论，但我不清楚如何处理它。

谢谢！

Answer 1

我认为你不必启用半精度。如果cutorch.hasHalf为true，那么这应该有效;

require('cutorch')
a = torch.CudaHalfTensor(3)
b = torch.CudaHalfTensor(3)
print(torch.cmul(a,b))

如果没有，请尝试将cutorch更新为最新版本;

luarocks install cutorch