卷积层的正常初始化如下所示:
weight_scale * np.random.randn(no_of_filters,channels,kernel_size,kernel_size)
其中 weight_scale 通常介于 1e-2 和 1e-4 之间。
对于密集层,kaiming-he 初始化是这样的:
np.random.randn(fanin,fanout)/np.sqrt(fanin/2)
我们如何对 conv 层做同样的事情?
密集中的正常初始化:weight_scale * np.random.randn(fanin, fanout)