Keras不太密集层

Question

上一层是嵌入尺寸（V clasess，K -outputdim）-我想引入一个权重矩阵尺寸K x T.权重将是可训练的（嵌入也一样）。它们生成一个VxT矩阵将在下游使用。 1）我该怎么做？ 2）这会不会影响渐变？

基本上是向量x矩阵。 示例-嵌入vocab = 10，昏暗K = 4。因此对于特定的词汇量，我的嵌入权重是向量大小（1,4）（请考虑行向量）。

对于每个行向量，我想将权重矩阵大小乘以4x10，得到一个1 x 10的向量（或层）。权重矩阵对于词汇表的所有成员都是通用的。

此1 x 10矢量将输入到下一层。

Answer 1

您想要的是一个密集层，没有偏见。密集层内部具有一个矩阵，该矩阵对于所有输入都是公用的，它不会随输入而变化。

因此，可以将其实现为：

{{1}}

不需要激活功能，因为您只需要矩阵乘法。