Question

我需要使用权重初始化自定义Conv2D内核

W = a1b1 + a2b2 + ... + abn

其中W =要初始化的Conv2D图层的自定义权重

a =随机权重张量为keras.backend.variable(np.random.uniform())，形状=（64，1，10）

b =固定基过滤器，定义为keras.backend.constant(...)，shape =（10，11，11）

W = K.sum（a [:,：，：，None，None] * b [None，None，：，：，：]，axis = 2）＃shape =（64，1，11，11 ）

我希望我的模型通过仅更改'a'的同时更新'W'值，同时保持'b'不变。

我将自定义“ W”传递为

Conv2D（64，kernel_size =（11，11），activation ='relu'，kernel_initializer = kernel_init_L1）（img）

其中kernel_init_L1返回keras.backend.variable(K.reshape(w_L1, (11, 11, 1, 64)))

Problem: 我不确定这是否是正确的方法。是否可以在Keras中指定哪些是trainable，哪些不是。我知道可以设置trainable = True，但是我不确定权重。

我认为这种实现方式是不正确的，因为无论是否进行了自定义初始化，我都能从模型中获得相似的结果。

如果有人可以指出我的方法中的任何错误或提供一种验证方法，这将非常有帮助。

Answer 1

有关形状的警告：如果您的内核大小为(11,11)，并且假设您有64个输入通道和1个输出通道，那么最终的内核形状必须为(11,11,64,1)。

您可能应该去a[None,None]和b[:,:,:,None,None]。

class CustomConv2D(Conv2D):

    def __init__(self, filters, kernel_size, kernelB = None, **kwargs):
        super(CustomConv2D, self).__init__(filters, kernel_size,**kwargs)
        self.kernelB = kernelB

    def build(self, input_shape):


        #use the input_shape to calculate the shapes of A and B
        #if needed, pay attention to the "data_format" used. 

        #this is an actual weight, because it uses `self.add_weight`   
        self.kernelA = self.add_weight(
                  shape=shape_of_kernel_A + (1,1), #or (1,1) + shape_of_A
                  initializer='glorot_uniform', #or select another
                  name='kernelA',
                  regularizer=self.kernel_regularizer,
                  constraint=self.kernel_constraint)


        #this is an ordinary var that will participate in the calculation
            #not a weight, not updated
        if self.kernelB is None:
            self.kernelB = K.constant(....) 
            #use the shape already containing the new axes


        #in the original conv layer, this property would be the actual kernel,
        #now it's just a var that will be used in the original's "call" method 
        self.kernel = K.sum(self.kernelA * self.kernelB, axis=2)  
        #important: the resulting shape should be:
            #(kernelSizeX, kernelSizeY, input_channels, output_channels)   


        #the following are remains of the original code for "build" in Conv2D
        #use_bias is True by default
        if self.use_bias:
            self.bias = self.add_weight(shape=(self.filters,),
                                    initializer=self.bias_initializer,
                                    name='bias',
                                    regularizer=self.bias_regularizer,
                                    constraint=self.bias_constraint)
        else:
            self.bias = None
        # Set input spec.
        self.input_spec = InputSpec(ndim=self.rank + 2,
                                axes={channel_axis: input_dim})
        self.built = True

自定义图层的提示

当您从零（源自Layer）创建自定义图层时，应具有以下方法：

__init__(self, ... parameters ...)-这是创建者，在您创建图层的新实例时会调用它。在这里，您存储用户作为参数传递的值。（在Conv2D中，初始化将具有“过滤器”，“内核大小”等）。
build(self, input_shape)-在这里应该创建权重（所有可学习的变量都在此基于输入形状创建）
compute_output_shape(self,input_shape)-在这里，您将根据输入形状返回输出形状
call(self,inputs)-在这里执行实际的层计算

由于我们不是从零开始创建该层，而是从Conv2D派生它，所以一切都准备就绪，我们要做的就是“更改”构建方法并替换被认为是Conv2D内核的东西。层。

有关自定义图层的更多信息：https://keras.io/layers/writing-your-own-keras-layers/

用于转化层的call方法是here in class _Conv(Layer):。

Keras Conv2D自定义内核初始化

1 个答案:

自定义图层的提示