Question

我怀疑这已经被问到了，虽然在我的搜索中，许多其他问题都有特定的独特问题，似乎不适用于我的情况（或者解决方案可能超出我的想法）。

我在张量流中有一个标准的前馈神经网络，其行为正确，大小为[None, n_features]的秩2输入张量，[n_features, n_neurons]的权重导致隐藏的tf.matmul(inputs, weight) = [None, n_neurons]层。

但是，我想在输入和输出中将维度扩展一维。例如，我想要

inputs = tf.placeholder("float", shape=[None, n_type, n_features])
weight= tf.Variable(FNN_weight_initializer([n_type, n_features, n_neurons]))
Hidden1 = tf.matmul(inputs, weight)

我的最终目标是Hidden1 = [None, n_type, n_neurons]。

然而，不是生成所需的张量形状，而是获得形状张量[n_type, n_type, n_neurons]。我不是线性代数方面的专家，而且我已经尝试了一些维度顺序组合而没有成功。甚至可以将rank3张量乘以tf.matmul吗？我应该在这里的某个地方进行重塑或转置操作吗？

Answer 1

根据OP的评论编辑

您可以展平输入要素向量以对[-1, n_type * n_features]进行整形，应用精心选择的矩阵乘法，并将输出从[-1, n_type * n_neurons]重新整形为[-1, n_type, n_neurons]

操作张量为块对角[n_type * n_features, n_type * n_neurons]，每个块都是n_type中weights个张量之一。

为了构建一个块对角矩阵，我使用了另一个答案（来自here）

这看起来像

inputs = tf.placeholder("float", shape=[None, n_type, n_features])
inputs = tf.reshape(inputs, shape=[-1, n_type * n_features])

weights = tf.Variable(FNN_weight_initializer([n_type, n_features, n_neurons]))

split_weights = tf.split(weights, num_or_size_splits=n_type, axis=1)
# each element of split_weights is a tensor of shape : [1, n_features, n_neurons] -> need to squeeze
split_weights = tf.map_fn(lambda elt : tf.squeeze(elt, axis=0), split_weights)

block_matrix = block_diagonal(split_weights) # from the abovementioned reference

Hidden1 = tf.matmul(inputs, block_matrix)
# shape : [None, n_type * n_neurons]

Hidden1 = tf.reshape(Hidden1, [-1, n_type, n_neurons])
# shape : [None, n_type, n_neurons]

原始回答

根据tf.matmul（reference）的文档，您所乘的张量需要具有相同的等级。

当等级为>2时，只有最后两个维度需要与矩阵乘法兼容，其他第一个维度需要完全匹配。

那么，对于问题＆＃34;甚至可以将rank3张量乘以tf.matmul？＆＃34;，答案是＆＃34;是的，它是可能的，但从概念上讲，它仍然是等级2乘法＆＃34;。

因此，有必要进行一些重塑：

inputs = tf.placeholder("float", shape=[None, n_type, n_features])

inputs = tf.reshape(inputs, shape=[-1, n_type, 1, n_features])

weights = tf.Variable(FNN_weight_initializer([n_type, n_features, n_neurons]))

weights = tf.expand_dims(weights, 0)
# shape : [1, n_type, n_features, n_neurons]

weights = tf.tile(weights, [tf.shape(inputs)[0], 1, 1, 1])
# shape : [None, n_type, n_features, n_neurons]

Hidden1 = tf.matmul(inputs, weights)
# shape : [None, n_type, 1, n_neurons]

Hidden1 = tf.reshape(Hidden1, [-1, n_type, n_neurons])
# shape : [None, n_type, n_neurons]

在TensorFlow中使用线性代数帮助新手（等级3张量）

1 个答案: