Keras上的自定义损失功能

Question

我有一个数据集，其中包含特征X的矩阵和大小为N的标签y的矩阵，其中每个元素y_i都属于[0,1]。我有以下损失函数

其中g(.)是取决于输入矩阵X的函数。 我知道Keras自定义损失函数必须采用customLoss(y_true,y_predicted)的形式，但是我很难将术语g(X)纳入损失函数，因为这取决于输入矩阵。

对于数据集中的每个数据点，我的输入形式为X_i = (H, P)，其中这两个参数是矩阵，并且将每个数据点的函数g定义为g(X_i) = H x P。我可以在损失函数中传递a = (H, P)，因为这取决于每个示例，还是我需要通过级联它们一次传递所有矩阵？

编辑（基于丹尼尔的回答）：

original_model_inputs = keras.layers.Input(shape=X_train.shape[1])
y_true_inputs = keras.layers.Input(shape=y_train.shape[1])
hidden1 = keras.layers.Dense(256, activation="relu")(original_model_inputs)
hidden2 = keras.layers.Dense(128, activation="relu")(hidden1)
output = keras.layers.Dense(K)(hidden2)

def lambdaLoss(x):
    yTrue, yPred, alpha = x
    return (K.log(yTrue) - K.log(yPred))**2+alpha*yPred

loss = Lambda(lambdaLoss)(y_true_inputs, output, a)

model = Keras.Model(inputs=[original_model_inputs, y_true_inputs], outputs=[output], loss)

def dummyLoss(true, pred):
    return pred

model.compile(loss = dummyLoss, optimizer=Adam())

train_model = model.fit([X_train, y_train], None, batch_size = 32, 
      epochs = 50, 
      validation_data = ([X_valid, y_valid], None), 
      callbacks=callbacks)

Answer 1

通常，您可以在Keras上传递自定义损失功能。定义损失函数时，只能使用Keras后端中可用的数学运算。

import keras.backend as K

def g(x):
    # function definition here
    # g(x)
    return output

def main_loss(input_data):
    def custom_loss(y_true, y_pred):
      # function definition
      return K.sum(K.log(1+K.square(y_true)*g(input_data)))
    return custom_loss 


# In the main script

model.compile(optimizer=adam, loss=custom_loss)

Answer 2

修正我对答案的理解：

def example
  do_important_stuff!
  /
  other(thing: true)
  do_super_important_stuff(factor: 9000)
  /
  do_other_stuff
end

您需要做某事original_model_inputs = keras.layers.Input(shape=X_train.shape[1:]) #must be a tuple, not an int y_true_inputs = keras.layers.Input(shape=y_train.shape[1:]) #must be a tuple, not an int hidden1 = keras.layers.Dense(256, activation="relu")(original_model_inputs) hidden2 = keras.layers.Dense(128, activation="relu")(hidden1) output = keras.layers.Dense(K)(hidden2) ，我不知道这是什么，但是您需要在某个地方做。 是的，您需要一次通过整个张量，不能制作g(X)以及其他所有内容。

x_i

继续回答：

def g(x):
    return something

gResults = Lambda(g)(original_model_inputs)

您需要一个模型进行训练，并需要另一个模型来获得输出，因为由于损失不同，我们正在做一个弗兰肯斯坦模型。

def lambdaLoss(x):
    yTrue, yPred, G = x

    .... #wait.... where is Y_true in your loss formula?

loss = Lambda(lambdaLoss)([y_true_inputs, output, gResults]) #must be a list of inputs including G

仅必须编译训练模型：

training_model = keras.Model(inputs=[original_model_inputs, y_true_inputs], outputs=loss)
prediction_model = keras.Model(original_model_inputs, output) 

使用其他模型获取结果数据：

def dummyLoss(true, pred):
    return pred

training_model.compile(loss = dummyLoss, optimizer=Adam())

training_model = model.fit([X_train, y_train], None, batch_size = 32, 
      epochs = 50, 
      validation_data = ([X_valid, y_valid], None), 
      callbacks=callbacks)

Answer 3

看起来像是某种 GAN。我将 (x) 称为“x_input”，两种方法：

方法一）从tf.keras.model类继承，自己写（不推荐，不展示）

方法 2) 从 tf.keras.losses.Loss 类继承。并返回（自定义）tf.keras.losses.Loss 实例和 tf.keras.layers.Layer 的元组，它只是充当外壳来抓取和保存 x_input (x) 的副本。然后可以将此层实例添加为模型中的顶层。 （自定义）tf.keraslosses。损失实例然后可以按需访问输入。这种方法在 Tensorflow 的整个生命周期中也有最好的未来支持。

首先，创建自定义图层和自定义损失类：

class Acrylic_Layer(tf.keras.layers.Layer):
    def __init__(self, *args, **kwargs):
        super().__init__(*args, **kwargs)
        self.x_input = None
        
    def build(self, *args, **kwargs):
        pass

    def call(self, input):
        self.x_input = input
        return input # Pass input directly through to next layer

class Custom_Loss(tf.keras.losses.Loss):
    def __init__(self, *args, **kwargs):
        super().__init__(*args, **kwargs)
        
        self.input_thief = Acrylic_Layer() # <<< Magic, python is pass by reference!

    def __call__(self, y_true, y_pred, sample_weight=None):
        x_input = self.input_thief.x_input # <<< x_input pulled from model

二、给模型添加层和损失函数

loss_fn = Custom_Loss(*args, **kwargs)
input_thief = loss_fn.input_thief

model = tf.keras.models.Sequential([
    input_thief, # <<< transparent layer
    Other_layers,
])

model.fit(loss=loss_fn) # <<< loss function

最后，我是市场在寻找 ML/python 角色，大声疾呼。