稀疏张量以减少训练时间

Question

我正在了解PyTorch稀疏张量：https://pytorch.org/docs/stable/sparse.html

从文档（https://pytorch.org/docs/stable/sparse.html）：“ Torch支持COO（rdinate）格式的稀疏张量，它可以有效地存储和处理大多数元素为零的张量。”

使用稀疏张量代替常规的PyTorch张量是减少训练时间的目的之一吗？

Answer 1

是，但间接地。

稀疏张量可以减少计算的复杂性，从而减少训练/推理时间。矩阵乘法的复杂度取决于矩阵中元素的数量，而稀疏矩阵乘法的复杂度取决于（由于稀疏性）较少的非零元素的数量