我正在尝试使用tensorflow自定义估算器创建一个简单的单层/单位nn,它将能够计算逻辑AND运算,但我遇到了sigmoid激活的问题 - 我想设置阈值
这是我的代码
x = np.array([
[0, 0],
[1, 0],
[0, 1],
[1, 1]
], dtype=np.float32)
y = np.array([
[0],
[0],
[0],
[1]
])
def sigmoid(val):
res = tf.nn.sigmoid(val)
isGreater = tf.greater(res, tf.constant(0.5))
return tf.cast(isGreater, dtype=tf.float32)
def model_fn(features, labels, mode, params):
predictions = tf.layers.dense(inputs=features, units=1, activation=sigmoid)
if mode == tf.estimator.ModeKeys.PREDICT:
return tf.estimator.EstimatorSpec(mode=mode, predictions=predictions)
loss = tf.losses.sigmoid_cross_entropy(labels, predictions)
optimizer = tf.train.GradientDescentOptimizer(0.5)
train_op = optimizer.minimize(loss, global_step=tf.train.get_global_step())
return tf.estimator.EstimatorSpec(mode=mode, loss=loss, train_op=train_op)
nn = tf.estimator.Estimator(model_fn=model_fn)
input_fn = tf.estimator.inputs.numpy_input_fn(x=x, y=y, shuffle=False, num_epochs=None)
nn.train(input_fn=input_fn, steps=500)
但这会引发错误
ValueError: No gradients provided for any variable, check your graph for ops that do not support gradients, between variables ["<tf.Variable 'dense/kernel:0' shape=(2, 1) dtype=float32_ref>", "<tf.Variable 'dense/bias:0' shape=(1,) dtype=float32_ref>"] and loss Tensor("sigmoid_cross_entropy_loss/value:0", shape=(), dtype=float32).
我该如何解决这个问题?请帮忙..
我得到的另一个问题 - 为什么Tensorflow没有内置的sigmoid激活阈值?这不是二进制分类最需要的东西之一(用sigmoid / tanh)吗?
答案 0 :(得分:2)
内置sigmoid激活,tf.nn.sigmoid
。
但是,在创建网络时,不应在最后一层上使用激活。您需要向图层提供未缩放的日志,如下所示:
predictions = tf.layers.dense(inputs=features, units=1, activation=None)
loss = tf.losses.sigmoid_cross_entropy(labels, predictions)
否则,使用自定义sigmoid,您的预测将为0
或1
,并且没有可用于此的渐变。