Keras嵌入层激活功能?

时间:2019-10-14 19:58:12

标签: keras embedding tf.keras

在Keras嵌入的完全连接的隐藏层中,利用的激活功能是什么?我或者误解了此类的概念,或者找不到文档。我了解它是通过在stackoverflow上通过以下答案将字词编码为维度 d 的实值向量的:

  

Keras中的嵌入层就像您网络体系结构中的任何其他层一样受到训练:它们通过使用选定的优化方法进行了调整,以使损失函数最小化。与其他层的主要区别在于它们的输出不是输入的数学函数。取而代之的是,该层的输入用于使用嵌入矢量[1]索引表。但是,底层的自动微分引擎没有问题,可以优化这些向量以最小化损失函数...

在我的网络中,我有一个词嵌入部分,然后将其链接到一个预测二进制结果的较大网络(例如,单击“是/否”)。我知道,这种Keras嵌入的操作方式不像word2vec那样,因为在这里,我的嵌入针对我的最终交叉熵函数进行了培训和更新。但是,没有提及如何激活嵌入的全连接层。谢谢!

0 个答案:

没有答案