“ tf.nn.relu（A）”和“ tf.maximum（A，0）”是否相同？

Question

这是两个代码。

tf.nn.relu("output of previous layer")

tf.maximum("output of previous layer", 0)

这两个行为完全一样吗？

换句话说，是否可以将另一个替换？

Answer 1

将relu定义为：

max(features, 0)

它们基本相同。两者均以张量作为输入并返回张量。唯一的区别是受支持的类型。

tf.nn.relu支持以下类型：

• float32，float64，int32，uint8，int16，int8，int64，bfloat16 ，uint16，half，uint32，uint64，qint8

而tf.maximum支持上述类型的子集：

• half，float32，float64，int32，int64