Question

我花了很长时间来解决这个问题，并且在互联网上找不到任何有用的东西，所以我不得不问：

给定张量T，比方说T = tf.random_normal([100])，我只想将softmax()应用于张量的正元素。像T = tf.nn.softmax(T[T>0])这样的东西在Tensorflow中当然不起作用。

简而言之：我想计算softmax并仅应用于元素T > 0。

如何在Tensorflow中做到这一点？

Answer 1

如果要计算softmax，则仅将+应用于元素T> 0：

一个想法可能是根据您的条件（T > 0）创建2个分区，将操作（softmax）应用于目标分区，然后将它们缝合在一起。

使用tf.dynamic_partition和tf.dynamic_stitch这样的事情：

import tensorflow as tf

T = tf.random_normal(shape=(2, 3, 4))

# Creating partition based on condition:
condition_mask = tf.cast(tf.greater(T, 0.), tf.int32)
partitioned_T = tf.dynamic_partition(T, condition_mask, 2)
# Applying the operation to the target partition:
partitioned_T[1] = tf.nn.softmax(partitioned_T[1])

# Stitching back together, flattening T and its indices to make things easier::
condition_indices = tf.dynamic_partition(tf.range(tf.size(T)), tf.reshape(condition_mask, [-1]), 2)
res_T = tf.dynamic_stitch(condition_indices, partitioned_T)
res_T = tf.reshape(res_T, tf.shape(T))

with tf.Session() as sess:
    t, res = sess.run([T, res_T])
    print(t)
    # [[[-1.92647386  0.7442674   1.86053932 -0.95315439]
    #  [-0.38296485  1.19349718 -1.27562618 -0.73016083]
    #  [-0.36333972 -0.90614134 -0.15798278 -0.38928652]]
    # 
    # [[-0.42384467  0.69428021  1.94177043 -0.13672788]
    #  [-0.53473723  0.94478583 -0.52320045  0.36250541]
    #  [ 0.59011376 -0.77091616 -0.12464728  1.49722672]]]
    print(res)
    # [[[-1.92647386  0.06771058  0.20675084 -0.95315439]
    #  [-0.38296485  0.10610957 -1.27562618 -0.73016083]
    #  [-0.36333972 -0.90614134 -0.15798278 -0.38928652]]
    # 
    # [[-0.42384467  0.06440912  0.22424641 -0.13672788]
    #  [-0.53473723  0.08274478 -0.52320045  0.04622314]
    #  [ 0.05803747 -0.77091616 -0.12464728  0.14376813]]]

上一个答案

仅当您希望对T的所有元素计算softmax但仅应用于大于0的元素时，此答案才有效。

使用tf.where()：

T = tf.where(tf.greater(T, 0.), tf.nn.softmax(T), T)

Answer 2

我是Tensorflow的新手，但这是我的尝试，基于数学公式：

def softmax_positiv(T):
    # softmax = tf.exp(logits) / tf.reduce_sum(tf.exp(logits), axis)
    Tsign = tf.greater(T, 0.)
    Tpos = tf.gather(T, tf.where(Tsign))
    _reduce_sum = tf.reduce_sum(tf.exp(Tpos))
    Tsign = tf.cast(Tsign, tf.float32)    
    Tpos = (tf.exp(T) / _reduce_sum) * Tsign
    Tneg = (Tsign - 1) * -1 * T

  return Tpos+Tneg

更新版本（使用@Aldream建议）：

def softmax_positiv(T):
    #softmax = tf.exp(logits) / tf.reduce_sum(tf.exp(logits), axis)
    Tsign=tf.greater(T,0)
    _reduce_sum=tf.reduce_sum(tf.exp(tf.where(Tsign,T,tf.zeros(T.shape))))
    return  tf.where(Tsign, tf.exp(T) / _reduce_sum, T)

仅将tf.nn.softmax（）应用于张量的正元素

2 个答案:

如果要计算softmax，则仅将+应用于元素T> 0：

上一个答案