Question

看看本教程here，他们使用“ Romeo：”的开始顺序。

int(generate_text(model, start_string=u"ROMEO: "))

但是，从实际生成步骤来看，可以说仅使用最后一个字符“”公平吗？因此，无论我们使用“ ROMEO：”还是仅使用“”，都是一样的？从输出分布中采样时很难进行测试...

相对而言，由于原始训练序列更长，因此尚不清楚如何根据如此短的字符串进行预测。我了解如果我们训练了100个字符的历史，那么我们会预测101个字符，然后使用2-101预测102个字符...但是，它如何仅以7个字符开头？

EDIT

作为一个具体示例，我将模型重新设计为以下形式：

    model = tf.keras.Sequential()
model.add(tf.keras.layers.SimpleRNN(units=512, input_shape = (seq_len, 1), activation="tanh"))
    model.add(tf.keras.layers.Dense(len(vocab))) 
    model.compile(loss=loss, optimizer='adam')
    model.summary()

注意，我使用了simpleRNN而不是GRU并放弃了嵌入步骤。这两个更改都是为了简化模型，但这无关紧要。

我的训练和输出数据如下：

>>> input_array_reshaped
array([[46., 47., 53., ..., 39., 58.,  1.],
       [ 8.,  0., 20., ..., 33., 31., 10.],
       [63.,  1., 44., ..., 58., 46., 43.],
       ...,
       [47., 41., 47., ...,  0., 21., 57.],
       [59., 58.,  1., ...,  1., 61., 43.],
       [52., 57., 43., ...,  1., 63., 53.]])
>>> input_array_reshaped.shape
(5000, 100)

>>> output_array_reshaped.shape
(5000, 1, 1)

>>> output_array_reshaped
array([[[40.]],

       [[ 0.]],

       [[56.]],

       ...,

       [[ 1.]],

       [[56.]],

       [[59.]]])

但是，如果我尝试预测少于100个字符的字符串，则会得到：

ValueError: Error when checking input: expected simple_rnn_1_input to have shape (100, 1) but got array with shape (50, 1)

以下是我的预测功能（如果需要）。如果我将required_training_length更改为100以外的任何值，它将崩溃。它要求“特定”的时间步长为100。

有人可以告诉我如何调整模型以使其像示例中那样更加灵活吗？我想念什么精妙之处？

def generateText(starting_corpus, num_char_to_generate = 1000, required_training_length = 100):
    random_starting_int = random.sample(range(len(text)),1)[0]
    ending_position = random_starting_int+required_training_length

    starting_string = text[random_starting_int:ending_position]
    print("Starting string is: " + starting_string)
    numeric_starting_string = [char2idx[x] for x in starting_string]
    reshaped_numeric_string = np.reshape(numeric_starting_string, (1, len(numeric_starting_string), 1)).astype('float32')


    output_numeric_vector = []
    for i in range(num_char_to_generate): 
        if i%50 == 0:
            print("Processing character index: "+str(i))
        predicted_values = model.predict(reshaped_numeric_string)
        selected_predicted_value = tf.random.categorical(predicted_values, num_samples = 1)[0][0].numpy().astype('float32') #sample from the predicted values
        #temp = reshaped_numeric_string.copy()
        output_numeric_vector.append(selected_predicted_value)
        reshaped_numeric_string = np.append(reshaped_numeric_string[:,1:,:], np.reshape(selected_predicted_value, (1,1,1)), axis = 1)

    predicted_chars = [idx2char[x] for x in output_numeric_vector]
    final_text = ''.join(predicted_chars)
    return(final_text)

Answer 1

但是，看看实际的生成步骤，可以这样说吗？仅使用最后一个字符“”？因此，无论我们是否使用“ ROMEO：”还是仅使用“”？由于它是从输出分布...

否，它正在考虑所有字符。您可以轻松地通过使用固定的随机种子来验证：

from numpy.random import seed
from tensorflow.random import set_seed
seed(1)
set_seed(1)
print('======')
print(generate_text(m, 'ROMEO: '))
seed(1)
set_seed(1)
print('======')
print(generate_text(m, ' '))

目前尚不清楚如何在这么短的时间内做出预测字符串，因为原始训练序列要长得多。一世了解我们是否接受过100个字符的训练，我们可以预测 101st，然后使用2-101来预测102 ...但是它如何开始仅有7个字符？

它在内部循环运行序列。首先角色并预测第二个。然后第二个预测第三等等。这样做时，它会更新其隐藏状态，以便它的预测越来越好。最终高原因为它不记得任意长序列。

Tensorflow RNN文本生成示例教程

1 个答案: