我有一个跟在“语法”后面的字母串。我的训练集上还有布尔标签,表示字符串是否遵循“语法”。基本上,我的模型正在尝试学习确定一串字母是否符合规则。这是一个相当简单的问题(我从教科书中得到的)。
我正在像这样生成我的数据集:
def generate_dataset(size):
good_strings = [string_to_ids(generate_string(embedded_reber_grammar))
for _ in range(size // 2)]
bad_strings = [string_to_ids(generate_corrupted_string(embedded_reber_grammar))
for _ in range(size - size // 2)]
all_strings = good_strings + bad_strings
X = tf.ragged.constant(all_strings, ragged_rank=1)
# X = X.to_tensor(default_value=0)
y = np.array([[1.] for _ in range(len(good_strings))] +
[[0.] for _ in range(len(bad_strings))])
return X, y
注意行 X = X.to_tensor(default_value=0)
。如果这一行被注释掉,我的模型学习就好了。但是,如果不注释掉,则学习失败,验证集表现与机会相同(50-50)。
这是我的实际模型:
np.random.seed(42)
tf.random.set_seed(42)
embedding_size = 5
model = keras.models.Sequential([
keras.layers.InputLayer(input_shape=[None], dtype=tf.int32, ragged=True),
keras.layers.Embedding(input_dim=len(POSSIBLE_CHARS) + 1, output_dim=embedding_size),
keras.layers.GRU(30),
keras.layers.Dense(1, activation="sigmoid")
])
optimizer = keras.optimizers.SGD(lr=0.02, momentum = 0.95, nesterov=True)
model.compile(loss="binary_crossentropy", optimizer=optimizer, metrics=["accuracy"])
history = model.fit(X_train, y_train, epochs=5, validation_data=(X_valid, y_valid))
我使用 0
作为密集张量的默认值。 strings_to_ids
不对任何值使用 0,而是从 1 开始。此外,当我切换到使用密集张量时,我将 ragged=True
更改为 False.
我不知道为什么使用密集张量会导致模型失败,因为我之前在类似练习中使用过密集张量。
有关其他详细信息,请参阅书中的解决方案 (exercise 8) 或我自己的合作实验室 notebook。
答案 0 :(得分:0)
所以结果是密集张量的形状在训练集和验证集上是不同的。这是因为两组之间最长的序列长度不同(与测试集相同)。