Question

所以我有一个Keras模型。我想将模型的梯度与其输入结合起来。这就是我的工作

import tensorflow as tf
from keras.models import Sequential
from keras.layers import Dense
from keras import backend as K

num_features = 5

model = Sequential()
model.add(Dense(60, input_shape=(num_features,), activation='relu'))
model.add(Dense(50, activation='relu'))
model.add(Dense(1, activation='softmax'))
model.compile(optimizer='adam', loss='binary_crossentropy')
#Run predict to initialize weights
model.predict(np.random.rand(1, num_features))

x = tf.random_uniform(shape=(1, num_features))
model_grad = tf.gradients(model(x), x)[0]

然而，当我打印出dmodel_dx的值时，我得到全0。

sess = K.get_session()
print( model_grad.eval(session=sess) )
>>>array([[ 0.,  0.,  0.,  0.,  0.]], dtype=float32)

任何人都知道我做错了什么？

Answer 1

检查softmax是否饱和，从而给出非常小的渐变 - 尝试

model_grad = K.gradients(K.dot(model.layers[-1].input,model.layers[-1].kernel)+model.layers[-1].bias, model.input)

将Keras模型wrt的导数转换为输入将返回全零

1 个答案: