如何使用Numpy函数实现漏洞relu

Question

我正在尝试实现泄漏的Relu，问题是我必须为4维输入数组做4个for循环。

有没有办法让我只能使用Numpy函数进行泄漏？

Answer 1

以下是两种实现leaky_relu的方法：

import numpy as np                                                 

x = np.random.normal(size=[1, 5])

# first approach                           
leaky_way1 = np.where(x > 0, x, x * 0.01)                          

# second approach                                                                   
y1 = ((x > 0) * x)                                                 
y2 = ((x <= 0) * x * 0.01)                                         
leaky_way2 = y1 + y2  

Answer 2

import numpy as np




def leaky_relu(arr):
    alpha = 0.1
    
    return np.maximum(alpha*arr, arr)

Answer 3

关于漏洞relu的维基百科条目，应该能够通过简单的屏蔽功能来完成。

UsageStatsManager manager = (UsageStatsManager) context.getSystemService(Context.USAGE_STATS_SERVICE);

UsageEvents events = manager.queryEvents(range[0], range[1]);
//range[0] is 25th April,2018 converted in long, and range[1] is May 25,2018 in long

在0以上的任何地方，保留值，在其他任何地方，用arr * 0.01替换它。