卷积层的初始化

时间:2021-01-21 03:33:12

标签: python numpy initialization conv-neural-network

卷积层的正常初始化如下所示:

weight_scale * np.random.randn(no_of_filters,channels,kernel_size,kernel_size)

其中 weight_scale 通常介于 1e-2 和 1e-4 之间。

对于密集层,kaiming-he 初始化是这样的:

np.random.randn(fanin,fanout)/np.sqrt(fanin/2)

我们如何对 conv 层做同样的事情?

密集中的正常初始化:weight_scale * np.random.randn(fanin, fanout)

0 个答案:

没有答案