获取损失函数的梯度wrt嵌入

时间:2019-07-12 06:43:44

标签: python keras lstm gradient word-embedding

我正在尝试从论文中重新实现算法。这是关于文本分类器的通用对抗性示例。 在一部分中,我应采用分类器损失函数相对于单词向量$ w_i $的梯度。我不知道该怎么办,在任何地方都找不到。

我正在像这样训练关于IMDB数据集的分类器:

    model = Sequential()
    model.add(Embedding(top_words, embedding_vecor_length,input_length=max_review_length))
    model.add(LSTM(100))
    model.add(Dense(1, activation='sigmoid'))
    model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])

    model.fit(X_train, y_train, epochs=3, batch_size=64)

现在,我想针对像“ perfect”之类的单个单词的嵌入矢量计算损失函数的梯度。我该怎么办?

0 个答案:

没有答案