对于应用程序,例如配对文本相似性,输入数据类似于:pair_1, pair_2
。在这些问题中,我们通常有多个输入数据。以前,我成功实现了模型:
model.fit([pair_1, pair_2], labels, epochs=50)
我决定用tf.data API替换输入管道。为此,我创建一个类似于以下内容的数据集:
dataset = tf.data.Dataset.from_tensor_slices((pair_1, pair2, labels))
它编译成功,但是在开始训练时抛出以下异常:
AttributeError: 'tuple' object has no attribute 'ndim'
我的Keras和Tensorflow版本分别为2.1.6
和1.11.0
。我在Tensorflow存储库中发现了类似的问题:
tf.keras multi-input models don't work when using tf.data.Dataset。
有人知道如何解决该问题吗?
这是代码的主要部分:
(q1_test, q2_test, label_test) = test
(q1_train, q2_train, label_train) = train
def tfdata_generator(sent1, sent2, labels, is_training):
'''Construct a data generator using tf.Dataset'''
dataset = tf.data.Dataset.from_tensor_slices((sent1, sent2, labels))
if is_training:
dataset = dataset.shuffle(1000) # depends on sample size
dataset = dataset.repeat()
dataset = dataset.prefetch(tf.contrib.data.AUTOTUNE)
return dataset
train_dataset = tfdata_generator(q1_train, q2_train, label_train, is_training=True, batch_size=_BATCH_SIZE)
test_dataset = tfdata_generator(q1_test, q2_test, label_test, is_training=False, batch_size=_BATCH_SIZE)
inps1 = keras.layers.Input(shape=(50,))
inps2 = keras.layers.Input(shape=(50,))
embed = keras.layers.Embedding(input_dim=nb_vocab, output_dim=300, weights=[embedding], trainable=False)
embed1 = embed(inps1)
embed2 = embed(inps2)
gru = keras.layers.CuDNNGRU(256)
gru1 = gru(embed1)
gru2 = gru(embed2)
concat = keras.layers.concatenate([gru1, gru2])
preds = keras.layers.Dense(1, 'sigmoid')(concat)
model = keras.models.Model(inputs=[inps1, inps2], outputs=preds)
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])
print(model.summary())
model.fit(
train_dataset.make_one_shot_iterator(),
steps_per_epoch=len(q1_train) // _BATCH_SIZE,
epochs=50,
validation_data=test_dataset.make_one_shot_iterator(),
validation_steps=len(q1_test) // _BATCH_SIZE,
verbose=1)
答案 0 :(得分:4)
我没有使用Keras,但我会使用tf.data.Dataset.from_generator()-例如:
def _input_fn():
sent1 = np.array([1, 2, 3, 4, 5, 6, 7, 8], dtype=np.int64)
sent2 = np.array([20, 25, 35, 40, 600, 30, 20, 30], dtype=np.int64)
sent1 = np.reshape(sent1, (8, 1, 1))
sent2 = np.reshape(sent2, (8, 1, 1))
labels = np.array([40, 30, 20, 10, 80, 70, 50, 60], dtype=np.int64)
labels = np.reshape(labels, (8, 1))
def generator():
for s1, s2, l in zip(sent1, sent2, labels):
yield {"input_1": s1, "input_2": s2}, l
dataset = tf.data.Dataset.from_generator(generator, output_types=({"input_1": tf.int64, "input_2": tf.int64}, tf.int64))
dataset = dataset.batch(2)
return dataset
...
model.fit(_input_fn(), epochs=10, steps_per_epoch=4)
此生成器可以遍历您的文本文件/ numpy数组,并在每次调用示例时产生收益。 在此示例中,我假设句子中的单词已经转换为词汇表中的索引。
编辑:
根据OP的要求,Dataset.from_teensor_slices()
也应该可行:
def _input_fn():
sent1 = np.array([1, 2, 3, 4, 5, 6, 7, 8], dtype=np.int64)
sent2 = np.array([20, 25, 35, 40, 600, 30, 20, 30], dtype=np.int64)
sent1 = np.reshape(sent1, (8, 1))
sent2 = np.reshape(sent2, (8, 1))
labels = np.array([40, 30, 20, 10, 80, 70, 50, 60], dtype=np.int64)
labels = np.reshape(labels, (8))
dataset = tf.data.Dataset.from_tensor_slices(({"input_1": sent1, "input_2": sent2}, labels))
dataset = dataset.batch(2, drop_remainder=True)
return dataset
答案 1 :(得分:2)
解决问题的一种方法是使用zip
数据集来组合各种输入:
sent1 = np.array([1, 2, 3, 4, 5, 6, 7, 8], dtype=np.float32)
sent2 = np.array([20, 25, 35, 40, 600, 30, 20, 30], dtype=np.float32)
sent1 = np.reshape(sent1, (8, 1, 1))
sent2 = np.reshape(sent2, (8, 1, 1))
labels = np.array([40, 30, 20, 10, 80, 70, 50, 60], dtype=np.float32)
labels = np.reshape(labels, (8, 1))
dataset_12 = tf.data.Dataset.from_tensor_slices((sent_1, sent_2))
dataset_label = tf.data.Dataset.from_tensor_slices(labels)
dataset = tf.data.Dataset.zip((dataset_12, dataset_label)).batch(2).repeat()
model.fit(dataset, epochs=10, steps_per_epoch=4)
将打印:
Epoch 1/10
4/4 [==============================] - 2s 503ms/step...