高效地组装需要渐变的PyTorch`Tensor`s的方法

时间:2018-07-16 13:59:13

标签: pytorch pre-allocation

我需要构造一个4维PyTorch Tensor,其中一个维度来自将常数https://martinfitzpatrick.name/article/multithreading-pyqt-applications-with-qthreadpool/与密集向量相乘。密集矢量以及生成的4D Tensor需要跟踪梯度。由于PyTorch仅支持稀疏矩阵,因此我无法将整个内容表示为Tensor-Tensor乘法,并且我认为我必须对矩阵进行乘法运算。施工成一个循环。在那种情况下,我至少要预分配结果4D Tensor,然后让稀疏的mm循环填充一维。

在那种情况下,我如何跟踪所得4D Tensor的渐变要求?创建渐变图后,是否可以手动将其附加到渐变图中?

我当前的方法效率极低,基本上可以一次cat建立列表中的一个维度。

0 个答案:

没有答案