我正在尝试实现一个循环神经网络，其中-javaagent:C:/Users/username/.m2/repository/org/aspectj/aspectjweaver/1.8.5/aspectjweaver-1.8.5.jar
被选为激活函数。
我的第一个原型用sigmoid编写，我发现python在某种程度上是程序的瓶颈，占总运行时间的约30％。
sigmoid所以我尝试了另一种实现
# x is a fixed size vector here
def sigmoid(x):
return numpy.reciprocal(1.0 + numpy.exp(-x))
并且令人惊讶地发现它比第一种方法快50％。
我也尝试了第三种方法
def sigmoid(x):
y = numpy.exp(x)
return y/(1+y)
，这比第一种方法稍慢。
后来我用C ++测试了所有3个实现。前两种方法几乎没有任何区别，def sigmoid(x):
return (1.0+numpy.tanh(x/2.0))/2.0
稍微（~5％）更快。为什么会这样？我在想tanh是用C ++编写的。