我正在尝试使用Keras实现一个简单的序列到序列模型。但是，我仍然看到以下ValueError：
ValueError: No gradients provided for any variable: ['simple_model/time_distributed/kernel:0', 'simple_model/time_distributed/bias:0', 'simple_model/embedding/embeddings:0', 'simple_model/conv2d/kernel:0', 'simple_model/conv2d/bias:0', 'simple_model/dense_1/kernel:0', 'simple_model/dense_1/bias:0'].
其他问题，例如Regex demo或在Github上查看this，都表明这可能与交叉熵损失函数有关；但是我看不到我在做什么错。
我认为这不是问题所在，但我想提一下，我是每晚（tf-nightly==2.2.0.dev20200410都在TensorFlow上构建的。
以下代码是一个独立的示例，应从上面重现异常：
import random
from functools import partial
import tensorflow as tf
from tensorflow import keras
from tensorflow_datasets.core.features.text import SubwordTextEncoder
EOS = '<eos>'
PAD = '<pad>'
RESERVED_TOKENS = [EOS, PAD]
EOS_ID = RESERVED_TOKENS.index(EOS)
PAD_ID = RESERVED_TOKENS.index(PAD)
dictionary = [
'verstehen',
'verstanden',
'vergessen',
'verlegen',
'verlernen',
'vertun',
'vertan',
'verloren',
'verlieren',
'verlassen',
'verhandeln',
]
dictionary = [word.lower() for word in dictionary]
class SimpleModel(keras.models.Model):
def __init__(self, params, *args, **kwargs):
super().__init__(*args, **kwargs)
self.params = params
self.out_layer = keras.layers.Dense(1, activation='softmax')
self.model_layers = [
keras.layers.Embedding(params['vocab_size'], params['vocab_size']),
keras.layers.Lambda(lambda l: tf.expand_dims(l, -1)),
keras.layers.Conv2D(1, 4),
keras.layers.MaxPooling2D(1),
keras.layers.Dense(1, activation='relu'),
keras.layers.TimeDistributed(self.out_layer)
]
def call(self, example, training=None, mask=None):
x = example['inputs']
for layer in self.model_layers:
x = layer(x)
return x
def sample_generator(text_encoder: SubwordTextEncoder, max_sample: int = None):
count = 0
while True:
random.shuffle(dictionary)
for word in dictionary:
for i in range(1, len(word)):
inputs = word[:i]
targets = word
example = dict(
inputs=text_encoder.encode(inputs) + [EOS_ID],
targets=text_encoder.encode(targets) + [EOS_ID],
)
count += 1
yield example
if max_sample is not None and count >= max_sample:
print('Reached max_samples (%d)' % max_sample)
return
def make_dataset(generator_fn, params, training):
dataset = tf.data.Dataset.from_generator(
generator_fn,
output_types={
'inputs': tf.int64,
'targets': tf.int64,
}
).padded_batch(
params['batch_size'],
padded_shapes={
'inputs': (None,),
'targets': (None,)
},
)
if training:
dataset = dataset.map(partial(prepare_example, params=params)).repeat()
return dataset
def prepare_example(example: dict, params: dict):
# Make sure targets are one-hot encoded
example['targets'] = tf.one_hot(example['targets'], depth=params['vocab_size'])
return example
def main():
text_encoder = SubwordTextEncoder.build_from_corpus(
iter(dictionary),
target_vocab_size=1000,
max_subword_length=6,
reserved_tokens=RESERVED_TOKENS
)
generator_fn = partial(sample_generator, text_encoder=text_encoder, max_sample=10)
params = dict(
batch_size=20,
vocab_size=text_encoder.vocab_size,
hidden_size=32,
max_input_length=30,
max_target_length=30
)
model = SimpleModel(params)
model.compile(
optimizer='adam',
loss='categorical_crossentropy',
)
train_dataset = make_dataset(generator_fn, params, training=True)
dev_dataset = make_dataset(generator_fn, params, training=False)
# Peek data
for train_batch, dev_batch in zip(train_dataset, dev_dataset):
print(train_batch)
print(dev_batch)
break
model.fit(
train_dataset,
epochs=1000,
steps_per_epoch=100,
validation_data=dev_dataset,
validation_steps=100,
)
if __name__ == '__main__':
main()
答案 0 :(得分：7)
您的代码中存在两套不同的问题，可以分为语法问题和体系结构问题。引发的错误（即No gradients provided for any variable）与语法问题有关，我将在下面主要解决这些问题，但是在此之后，我也会尝试为您提供有关体系结构问题的一些提示。
语法问题的主要原因是关于为模型使用命名的输入和输出。当模型具有多个输入和/或输出层时，用Keras命名的输入和输出最有用。但是，您的模型只有一个输入层和一个输出层。因此，在这里使用命名的输入和输出可能不是很有用，但是如果您决定，那么我将解释如何正确完成它。
首先，请记住，使用Keras模型时，从任何输入管道生成的数据（无论是Python生成器还是tf.data.Dataset）都应以元组的形式提供，即(input_batch, output_batch)或(input_batch, output_batch, sample_weights)。而且，正如我说的那样，这是Keras处理输入管道时到处都可以使用的格式，即使我们使用命名的输入和输出作为字典也是如此。
例如，如果我想使用输入/输出命名，并且我的模型有两个名为“ words”和“重要性”的输入层，还有两个名为“ output1”和“ output2”的输出层，则它们应为格式如下：
({'words': words_data, 'importance': importance_data},
{'output1': output1_data, 'output2': output2_data})
因此，如您在上面所看到的，它是一个元组，其中元组的每个元素都是一个字典；第一个元素对应于模型的输入，第二个元素对应于模型的输出。现在，根据这一点，让我们看看应该对您的代码进行哪些修改：
在sample_generator中，我们应该返回一个字典元组，而不是一个字典元组。所以：
example = tuple([
{'inputs': text_encoder.encode(inputs) + [EOS_ID]},
{'targets': text_encoder.encode(targets) + [EOS_ID]},
])
在make_dataset函数中，tf.data.Dataset的输入参数应遵守此规定：
output_types=(
{'inputs': tf.int64},
{'targets': tf.int64}
)
padded_shapes=(
{'inputs': (None,)},
{'targets': (None,)}
)
prepare_example的签名及其主体也应被修改：
def prepare_example(ex_inputs: dict, ex_outputs: dict, params: dict):
# Make sure targets are one-hot encoded
ex_outputs['targets'] = tf.one_hot(ex_outputs['targets'], depth=params['vocab_size'])
return ex_inputs, ex_outputs
最后，是子类模型的call方法：
return {'targets': x}
还有另一件事：构造图层时，我们还应该使用name参数将这些名称放在相应的输入和输出图层上（例如Dense(..., name='output')；但是，因为我们正在使用Model子类在这里定义我们的模型，这是不必要的。
好的，这些将解决输入/输出问题，并且与梯度有关的错误将消失；但是，如果在应用以上修改后运行代码，则仍然会出现有关不兼容形状的错误。如前所述，您的模型中存在架构问题，我将在下面简要介绍。
正如您提到的，这应该是一个从序列到序列的模型。因此，输出是单热编码矢量的序列，其中每个矢量的长度等于（目标序列）词汇量。结果，softmax分类器应具有与词汇表大小一样多的单位，例如（注意：在任何模型或问题中，切勿使用只有一个单位的softmax层；这完全是错误的！请思考为什么是错误的！）：
self.out_layer = keras.layers.Dense(params['vocab_size'], activation='softmax')
接下来要考虑的事实是我们正在处理一维序列（即标记/单词序列）。因此，在这里使用2D卷积和2D池化层没有意义。您可以使用它们的一维对应物，也可以将其替换为RNN层之类的东西。结果，Lambda层也应被删除。另外，如果要使用卷积和池化，则应适当调整每一层中的过滤器数量以及池大小（例如，一个conv过滤器，Conv1D(1,...)可能不是最佳选择，而池大小为1没有道理）。
此外，只有一层的最后一层之前的Dense层可能会严重限制模型的表示能力（即，本质上是模型的瓶颈）。要么增加其单位数量，要么将其删除。
另一件事是，没有理由不对开发集的标签进行一次热编码。相反，它们应该像训练集的标签一样被一键编码。因此，应该完全删除training的{{1}}参数，或者，如果您有其他用例，则应使用传递给{{1 }}功能。
最后，在完成所有这些更改之后，您的模型可能会开始工作并开始拟合数据。但是经过几批之后，您可能会再次遇到形状不兼容的错误。这是因为您正在生成尺寸未知的输入数据，并且还使用了轻松的填充方法来根据需要填充每个批次（例如，对make_generator使用填充{）。要解决此问题，您应该确定固定的输入/输出尺寸（例如，通过考虑输入/输出序列的固定长度），然后调整模型的体系结构或超参数（例如，转换内核大小，转换填充，池大小） ，添加更多层等）以及相应的training=True参数。即使您希望模型支持可变长度的输入/输出序列，也应该在模型的体系结构和超参数以及make_dataset参数中考虑它。由于此解决方案取决于您脑海中的任务和所需的设计，并且没有万能的解决方案，因此，我不会对此做进一步评论，而是由您自己解决。但这是一个可行的解决方案（可能根本不是，也可能不是最优），只是为了给您一个想法：
(None,