根据权重和偏差选择神经元

Question

在一个有2048个神经元的密集层中，每个神经元与前一层输出相连，我们有：

y = w1*x1 + w2*x2 + .......... + w128*x128

总共（128 * 2048）= 262144个参数，2048个偏置矢量共264192（262144 + 2048）个参数。

我需要选择具有最高分数的2048年的神经元（或第一个x神经元）。我应该如何做出决定？

更新： 我得到了上述形状：128 * 2048连接和2048偏差。我需要在2048年找到最有影响力的神经元。我想我应该考虑到所有128个权重和每个神经元的偏差，但我不知道我应该如何计算最大值。所有重量的总和？这种偏见怎么样？

Answer 1

假设您的结果张量具有形状res.shape = [batch_size, 2048]：

• 如果你想要具有最高输出的神经元：

np.argmax(res, axis=-1)

• 如果你想要顶级K神经元：

np.argpartition(res, -K, axis=-1)[:,-K:]