Question

我想在神经网络中使用余弦相似度，而不是标准点积。

在上面的示例中，他们使用

a = tf.placeholder(tf.float32, shape=[None], name="input_placeholder_a")
b = tf.placeholder(tf.float32, shape=[None], name="input_placeholder_b")
normalize_a = tf.nn.l2_normalize(a,0)        
normalize_b = tf.nn.l2_normalize(b,0)
cos_similarity=tf.reduce_sum(tf.multiply(normalize_a,normalize_b))
sess=tf.Session()
cos_sim=sess.run(cos_similarity,feed_dict={a:[1,2,3],b:[2,4,6]})

然而，我尝试以自己的方式做到了

x = tf.placeholder(tf.float32, [None, 3], name = 'x') # input has 3 features
w1 = tf.placeholder(tf.float32, [10, 3], name = 'w1') # 10 nodes in the first hidden layer
cos_sim = tf.divide(tf.matmul(x, w1), tf.multiply(tf.norm(x), tf.norm(w1)))
with tf.Session() as sess:
      sess.run(cos_sim, feed_dict = {x = np.array([[1,2,3], [4,5,6], [7,8,9], w1: np.random.uniform(0,1,size = (10,3) )})

我的方式错了吗？另外，矩阵乘法中发生了什么？我们实际上是将一个节点的权重乘以不同样本的输入（在一个特征内）吗？

Answer 1

您的示例中存在尺寸问题，我认为w1应该具有[3, 10]形状。但是忽略这些细微的细节，你的实现似乎是正确的。

尽管如此，我建议使用更接近顶部示例的方法，即使用tf.nn.l2_normalize，因为它保证返回与输入相同的形状，因此可以灵活地选择要标准化的维度。此外，tf.nn.l2_normalize在分母接近零时提供数值稳定性，并且可能更有效。

a = tf.placeholder(tf.float32, shape=[None, 3], name="input_placeholder_a")
b = tf.placeholder(tf.float32, shape=[3, 10], name="input_placeholder_b")

normalize_a = tf.nn.l2_normalize(a, dim=0)
normalize_b = tf.nn.l2_normalize(b, dim=0)
cos_similarity=tf.matmul(normalize_a, normalize_b)

sess=tf.Session()
cos_sim=sess.run(cos_similarity,feed_dict={
  a: np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]),
  b: np.arange(30).reshape([3, 10])
})
print cos_sim

它会产生与您相同的结果。

我的余弦相似度有什么问题？ Tensorflow

1 个答案: