Tensorflow优化乘法再加上

Question

在线性代数中常见的是优化乘法的共同运算，然后通过在输入上附加虚拟常量维来添加，然后将整数转换为单个乘法（Wx + b => W'x'）。

在Tensorflow中执行此操作是否有任何好处，或者无论如何都会优化（例如tf.matmul(...) + b与tf.matmul(...)）

Answer 1

您所说的并不是一种可以提高速度，减少记忆的优化。这只是缩短数学表达式的一种方法。

• 内存没有减少，因为您只需使用相同大小b的列添加/追加矩阵，而不是使用向量b。
• 即使您不计算使用列追加/前置矩阵W所需的操作数，您的矩阵乘法也会执行更多操作。如果您只是添加一个向量来添加n元素计算为b_i，那么您可以交换添加n元素c_i * x_i。

在TF中执行此操作没有任何好处（在速度/内存方面），不会，TF不会自行优化它。

如果您更容易阅读并理解那里发生的事情，那么您可以通过这种方式自由撰写。