稀疏张量以减少训练时间

时间:2018-11-24 23:08:38

标签: python machine-learning deep-learning pytorch

我正在了解PyTorch稀疏张量:https://pytorch.org/docs/stable/sparse.html

从文档(https://pytorch.org/docs/stable/sparse.html):“ Torch支持COO(rdinate)格式的稀疏张量,它可以有效地存储和处理大多数元素为零的张量。”

使用稀疏张量代替常规的PyTorch张量是减少训练时间的目的之一吗?

1 个答案:

答案 0 :(得分:0)

是,但间接地。

稀疏张量可以减少计算的复杂性,从而减少训练/推理时间。矩阵乘法的复杂度取决于矩阵中元素的数量,而稀疏矩阵乘法的复杂度取决于(由于稀疏性)较少的非零元素的数量