Question

我正在尝试使用Keras中的完全连接层架构进行二进制分类，在Keras中称为Dense类。

以下是我创建的神经网络架构的设计：

 from keras.models import Sequential
        from keras.layers import Dense, Dropout, Activation
        from keras.optimizers import SGD

        self.model = Sequential()
        # Dense(64) is a fully-connected layer with 64 hidden units.
        # in the first layer, you must specify the expected input data shape:
        # here, 20-dimensional vectors.
        self.model.add(Dense(32, activation='relu', input_dim=self.x_train_std.shape[1]))
        #self.model.add(Dropout(0.5))
        #self.model.add(Dense(64, activation='relu'))
        #self.model.add(Dropout(0.5))
        self.model.add(Dense(1, activation='sigmoid'))

所以我有一个17000,2000的输入矩阵，其中17K样本具有2k特征。

我只保留了一个隐藏层，其中有32个单元或神经元。

我的输出层是一个具有S形激活功能的神经元。

现在，当我尝试检查第一个隐藏层的权重时，我希望它的大小（2000,32），其中每行用于每个输入，每列用于该层中的每个单元。

以下是Keras的架构设置配置：

dl_1.model.get_config()
Out[70]:
[{'class_name': 'Dense',
  'config': {'activation': 'relu',
   'activity_regularizer': None,
   'batch_input_shape': (None, 2000),
   'bias_constraint': None,
   'bias_initializer': {'class_name': 'Zeros', 'config': {}},
   'bias_regularizer': None,
   'dtype': 'float32',
   'kernel_constraint': None,
   'kernel_initializer': {'class_name': 'VarianceScaling',
    'config': {'distribution': 'uniform',
     'mode': 'fan_avg',
     'scale': 1.0,
     'seed': None}},
   'kernel_regularizer': None,
   'name': 'dense_1',
   'trainable': True,
   'units': 32,
   'use_bias': True}},
 {'class_name': 'Dense',
  'config': {'activation': 'sigmoid',
   'activity_regularizer': None,
   'bias_constraint': None,
   'bias_initializer': {'class_name': 'Zeros', 'config': {}},
   'bias_regularizer': None,
   'kernel_constraint': None,
   'kernel_initializer': {'class_name': 'VarianceScaling',
    'config': {'distribution': 'uniform',
     'mode': 'fan_avg',
     'scale': 1.0,
     'seed': None}},
   'kernel_regularizer': None,
   'name': 'dense_2',
   'trainable': True,
   'units': 1,
   'use_bias': True}}]

要查看第一个隐藏图层的尺寸：

dl_1.model.get_layer(name="dense_1").input_shape

(None, 2000)

输出尺寸：

    dl_1.model.get_layer(name="dense_1").output_shape
Out[99]:
(None, 32)

所以它似乎给了（2000,32）这是预期的。

然而，当我尝试检查此图层的权重矩阵时

dl_1.model.get_layer(name="dense_1").get_weights()[0]

它给出了一个numpy数组的列表，列表长度为2000，数组长度在32之内，如下所示：

array([[ 0.0484077 , -0.02401097, -0.03099879, -0.02864455, -0.01511723,
         0.01386002,  0.01127522,  0.00844895, -0.02420873,  0.04466306,
         0.02965425,  0.0410631 ,  0.02397312,  0.0038885 ,  0.04846045,
         0.00653989, -0.05288456, -0.00325713,  0.0445733 ,  0.04594839,
         0.02839083,  0.0445912 , -0.0140048 , -0.01198476,  0.05259909,
        -0.03752745, -0.01337494, -0.02162734, -0.01522341,  0.01208428,
         0.01122886,  0.01496441],
       [ 0.05225918,  0.04231448,  0.01388102, -0.03310467, -0.05293509,
         0.01130457,  0.03127011, -0.04250741, -0.04212657, -0.01595866,
        -0.002456  ,  0.01112743,  0.0150629 ,  0.03072598, -0.04061607,
        -0.01131565, -0.02259113,  0.00907649, -0.04728404, -0.00909081,
         0.03182121, -0.04608218, -0.04411709, -0.03561752,  0.04686243,
        -0.04555761,  0.04087613,  0.04380137,  0.02079088, -0.02390963,
        -0.0164928 , -0.01228274],

我不确定我是否理解这一点。它应该是32 X2000而不是2000 X 32.所以我期待由于我有32个单位，并且每个单位有2000个权重，列表将是32个元素长，每个元素应该是2000维度numpy数组。但它反过来了。我不知道为什么会这样？

权重与隐藏层相关联，而不是与输入层相关联，所以如果我认为它们为输入层显示了它没有意义。

知道这是怎么回事吗？

Answer 1

您正在创建一个包含32个单位的Dense()图层。 Dense图层（如代码中的注释所示）“完全连接的图层”，这意味着数据中的每个要素都连接到每个图层。您的数据元素中还有2000个功能。

因此，您获得的数组有2000个元素，每个元素一个，每个元素有32个权重，每个隐藏层一个，因此得到的形状。

从keras docs我们可以看到示例：

model = Sequential()
model.add(Dense(32, input_shape=(16,)))
# now the model will take as input arrays of shape (*, 16)
# and output arrays of shape (*, 32)

# after the first layer, you don't need to specify
# the size of the input anymore:
model.add(Dense(32))

在您的情况下，*为2000，因此您的输出权重应为(2000,32)形状。这似乎是Keras用于输出的惯例。无论哪种方式，您都可以转换数据以赋予其他形状，因为(N, M)数组与(M, N)数组具有相同数量的元素。

了解每层的Keras权重矩阵

1 个答案: