Question

我是神经网络的新手。我想在TensorFlow中创建自定义损失函数，但是我需要获得权重向量，所以我是这样做的：

def my_loss(weights):
  def custom_loss(y, y_pred):
    return weights*(y - y_pred)
  return custom_loss
model.compile(optimizer='adam', loss=my_loss(weights), metrics=['accuracy'])
model.fit(x_train, y_train, batch_size=None,  validation_data=(x_test, y_test), epochs=100)

启动它时，出现此错误：

InvalidArgumentError:  Incompatible shapes: [50000,10] vs. [32,10]

形状是：

print(weights.shape)
print(y_train.shape)

(50000, 10)
(50000, 10)

所以我认为这是批处理存在的问题，我对TensorFlow的了解并不深，所以我尝试使用全局变量来以简单的方式解决问题

batch_index = 0

，然后在自定义回调中将其更新到“ on_batch_begin”钩子中。但这没有用，这是一个可怕的解决方案。那么，如何获得具有相应y的权重的确切部分呢？我是否可以在自定义损失中获取当前批次索引？预先感谢您的帮助

Answer 1

Keras允许您从全局范围获取任何张量。实际上，y_true和y_pred可能甚至没有被使用，as here。

您的模型可以有多个输入（您可以在推理时将此输入设为虚拟，或通过单个输入将权重加载到模型中）。请注意，您仍然需要进行验证。

import keras
from keras.layers import *
from keras import backend as K

import numpy as np

inputs_x = Input(shape=(10,))
inputs_w = Input(shape=(10,))

y = Dense(10,kernel_initializer='glorot_uniform' )(inputs_x)

model = keras.Model(inputs=[inputs_x, inputs_w], outputs=[y])

def my_loss(y_true, y_pred):
    return K.abs((y_true-y_pred)*inputs_w)

def my_metrics(y_true, y_pred):
    # just to output something
    return K.mean(inputs_w)



model.compile(optimizer='adam', loss=[my_loss], metrics=[my_metrics])

data = np.random.normal(size=(50000, 10))
labels = np.random.normal(size=(50000, 10))
weights = np.random.normal(size=(50000, 10))


model.fit([data, weights], labels, batch_size=256, validation_data=([data[:100], weights[:100]], labels[:100]), epochs=100)

要在没有权重的情况下进行验证，您需要编译另一种具有不同损失且不使用权重的模型。

UPD：还请注意，如果Keras返回数组而不是标量，它将对损失的所有元素求和

UPD：Tor tensorflow 2.1.0似乎变得更加复杂。正确的方法是@ marco-cerliani指出的方向（将标签，重量和数据输入模型，并通过.add_loss()添加自定义损耗张量），但是他的解决方案对我不起作用盒子。第一件事是该模型不想在无损失的情况下工作，拒绝同时接受输入和输出。因此，我引入了附加的虚拟丢失功能。当数据集大小不能被批量大小整除时，出现第二个问题。在keras和tf 1.x中，最后一批问题通常由steps_per_epoch和validation_steps参数解决，但是这里如果在第一批Epoch 2上开始失败，那么我需要制作简单的自定义数据生成器。

import tensorflow.keras as keras
from tensorflow.keras.layers import *
from tensorflow.keras import backend as K

import numpy as np

inputs_x = Input(shape=(10,))
inputs_w = Input(shape=(10,))
inputs_l = Input(shape=(10,))


y = Dense(10,kernel_initializer='glorot_uniform' )(inputs_x)

model = keras.Model(inputs=[inputs_x, inputs_w, inputs_l], outputs=[y])

def my_loss(y_true, y_pred):
    return K.abs((y_true-y_pred)*inputs_w)

def my_metrics():
    # just to output something
    return K.mean(inputs_w)

def dummy_loss(y_true, y_pred):
    return 0.


loss = my_loss(y, inputs_l)
metric = my_metrics()

model.add_loss(loss)
model.add_metric(metric, name='my_metric', aggregation='mean')


model.compile(optimizer='adam', loss=dummy_loss)

data = np.random.normal(size=(50000, 10))
labels = np.random.normal(size=(50000, 10))
weights = np.random.normal(size=(50000, 10))

dummy = np.zeros(shape=(50000, 10)) # or in can be labels, no matter now


# looks like it does not like when len(data) % batch_size != 0
# If I set steps_per_epoch, it fails on the second epoch.

# So, I proceded with data generator

class DataGenerator(keras.utils.Sequence):
    'Generates data for Keras'
    def __init__(self, x, w, y, y2, batch_size, shuffle=True):
        'Initialization'
        self.x = x
        self.w = w
        self.y = y
        self.y2 = y2
        self.indices = list(range(len(self.x)))
        self.shuffle = shuffle
        self.batch_size = batch_size
        self.on_epoch_end()

    def __len__(self):
        'Denotes the number of batches per epoch'
        return len(self.indices) // self.batch_size

    def __getitem__(self, index):
        'Generate one batch of data'
        # Generate indexes of the batch

        ids = self.indices[index*self.batch_size:(index+1)*self.batch_size]

        # the last None to remove weird warning
        # https://stackoverflow.com/questions/59317919
        return [self.x[ids], self.w[ids], self.y[ids]], self.y2[ids], [None]

    def on_epoch_end(self):
        'Updates indexes after each epoch'
        if self.shuffle == True:
            np.random.shuffle(self.indices)

batch_size = 256

train_generator = DataGenerator(data,weights,labels, dummy, batch_size=batch_size, shuffle=True)

val_generator = DataGenerator(data[:2*batch_size],weights[:2*batch_size],labels[:2*batch_size], dummy[:2*batch_size], batch_size=batch_size, shuffle=True)

model.fit(x=train_generator, validation_data=val_generator,epochs=100)

Answer 2

这是一种解决方法，可以将其他参数传递给自定义损失函数（在您的情况下为权重数组）。诀窍在于使用伪造的输入，以正确的方式建立和使用损失。不要忘记keras可以处理固定的批次尺寸

我在回归问题中提供了一个虚拟的例子

def mse(y_true, y_pred, sample_weight):

    error = y_true-y_pred

    return K.mean(K.sqrt(error)*sample_weight)


X = np.random.uniform(0,1, (1000,10))
y = np.random.uniform(0,1, 1000)
W = np.random.uniform(1,2, 1000)

inp = Input((10))
true = Input((1))
sample_weight = Input((1))
x = Dense(32, activation='relu')(inp)
out = Dense(1)(x)

m = Model([inp,true, sample_weight], out)
m.add_loss( mse( true, out, sample_weight ) )
m.compile(loss=None, optimizer='adam')
history = m.fit([X, y, W], y, epochs=10)

# final fitted model to compute predictions
final_m = Model(inp, out)

具有Keras中权重的自定义损失函数

2 个答案: