Question

我想在同一CNN图层的特征图之间找到内部乘积（矩阵乘积）。我已经创建了一个自定义层来执行此操作，并尝试在各层之间应用“ matmul”操作，但是最终导致出现错误。请协助我该怎么做。

ValueError：“ dim”输入必须是张量，其张量为“ inner_product2__test_16 / ExpandDims”（运算符：“ ExpandDims”），输入形状为[2，？，200,240,128]，[2]，并具有计算的输入张量：输入[1] = <-2 -1>。

我的“自定义图层”代码为：

# Custom Inner Product Layer of 4D tensor
class InnerProduct2_Test(Layer):

    def __init__(self, **kwargs):
        self.input_spec = [InputSpec(ndim='4+')]
        self.out_dim = None
        super(InnerProduct2_Test, self).__init__(**kwargs)

    def build(self, input_shape):
        """ Build the model based on input shape: """
        assert len(input_shape) == 2
        assert input_shape[0] == input_shape[1]
        self.out_dim = input_shape[1]
        self.built == True
    def compute_output_shape(self, input_shape):
        if not all(input_shape[1:]):
            raise Exception('Number of inputs is supposed to be two bu found another value')
        assert input_shape[0] == input_shape[1]
        return input_shape
    def get_config(self):
        '''No any configuration file for now'''
    def call(self, x, mask=None):
        """
        4D tensor with same shape as input
        """
        if K.backend() == 'theano':

            raise ValueError("InnerProduct not supported for Theano")
        else:
            if self.built:
                import tensorflow as tf
                inner = tf.expand_dims(x,(-2,-1))
                Product = tf.matmul(inner, inner)
                return Product
            else:
                raise RuntimeError("Something is wrong")'''

将内部程序应用于CNN：

from keras.layers import Conv2D, MaxPooling2D, Dense, Lambda,Flatten,Softmax,dot, 
Activation,Cropping2D
import keras.backend as K
from keras.models import Model,Input
import tensorflow as tf
import numpy as np
from keras.engine import Layer, InputSpec

InputsL=Input(shape=(200,240,3))
x=Conv2D(128,(3,3),activation='relu',padding='same')(InputsL)
x=InnerProduct2_Test()([x,x])
x=Conv2D(64,(3,3),activation='relu',padding='same')(x)
x=MaxPooling2D(2,2)(x)
x=InnerProduct2_Test()([x,x])
x=Activation('softmax')(x)
x=Cropping2D((2,2))(x)
x=InnerProduct2_Test()([x,x])
x=Flatten()(x)
Model2=Model(inputs=inputsL,outputs=x)
`'''

Answer 1

张量乘法只是矩阵乘法的推广，而矢量乘法的推广。

矩阵乘法定义为：

??⋅??=??，? 其中?是the行，?是??ℎ列，⋅是点积。因此，它只是一系列的点积。

然后可以看到它如何扩展到张量： ??⋅??=??，? 其中?是张量的??ℎ行矩阵，and是张量的??ℎ列矩阵...因此仅是一系列矩阵乘法-或一系列点积。

假设所有张量均为三级（可以用三个坐标来描述）：

?⊗?=??，?⋅??，?=??，?，? 表示?的（?，?）?ℎ向量乘以?的（?，?）?ℎ向量。至于你，你的错误显示出一些逻辑上的程序错误。内部= tf.expand_dims（x，（-2，-1）） python和张量核心提供的文档中的此功能用法在这里 https://www.tensorflow.org/api_docs/python/tf/expand_dims

卷积层中的内积（矩阵乘法）

1 个答案: