Question

我正在尝试修改此Tensorflow LSTM model以加载预先训练好的GoogleNews单词ebmedding GoogleNews-vectors-negative300.bin（或张量流Word2Vec嵌入也一样好。）

我一直在阅读有关如何将预先训练的单词嵌入到tensorflow中的示例（例如1: here，2: here，3: here和4: here）。< / p>

在第一个链接示例中，他们可以轻松地assign the embedding to the graph：

sess.run(cnn.W.assign(initW))

在第二个链接示例中，他们create an embedding-wrapper variable：

with tf.variable_scope("embedding_rnn_seq2seq/rnn/embedding_wrapper", reuse=True):
        em_in = tf.get_variable("embedding")

然后他们initialize the embedding wrapper：

sess.run(em_in.assign(initW))

这两个例子都有意义，但对我来说，在我的案例中如何将解压缩的嵌入initW分配给TF图表并不明显。（我是TF初学者）。

我可以像前两个例子一样准备initW：

def loadEmbedding(self, word_to_id):
    # New model, we load the pre-trained word2vec data and initialize embeddings
    with open(os.path.join('GoogleNews-vectors-negative300.bin'), "rb", 0) as f:
        header = f.readline()
        vocab_size, vector_size = map(int, header.split())
        binary_len = np.dtype('float32').itemsize * vector_size
        initW = np.random.uniform(-0.25,0.25,(len(word_to_id), vector_size))
        for line in range(vocab_size):
            word = []
            while True:
                ch = f.read(1)
                if ch == b' ':
                    word = b''.join(word).decode('utf-8')
                    break
                if ch != b'\n':
                    word.append(ch)
            if word in word_to_id:
                initW[word_to_id[word]] = np.fromstring(f.read(binary_len), dtype='float32')
            else:
                f.read(binary_len)
    return initW

从example 4的解决方案中，我认为我应该可以做类似

的事情

session.run(tf.assign(embedding, initW)).

如果我尝试在此处添加此行when the session is initialized ：

with sv.managed_session() as session:
        initializer = tf.random_uniform_initializer(-config.init_scale,
                                                    config.init_scale)
        session.run(tf.assign(m.embedding, initW))

我收到以下错误：

ValueError: Fetch argument <tf.Tensor 'Assign:0' shape=(10000, 300) dtype=float32_ref> cannot be interpreted as a Tensor. (Tensor Tensor("Assign:0", shape=(10000, 300), dtype=float32_ref, device=/device:CPU:0) is not an element of this graph.)

更新：我根据Nilesh Birari的建议更新了代码：Full code。它导致验证或测试集困惑没有改善，它只会改善训练集的困惑。

Answer 1

如果我错了，请纠正我，试着回答我对张量流的有限理解。

ValueError: Fetch argument <tf.Tensor 'Assign:0' shape=(10000, 300) dtype=float32_ref> cannot be interpreted as a Tensor. (Tensor Tensor("Assign:0", shape=(10000, 300), dtype=float32_ref, device=/device:CPU:0) is not an element of this graph.)

这只是说明你正在尝试初始化不同图形的元素，所以我猜你需要在你的图形定义的同一范围内。只需在同一范围内调整嵌入初始化代码就可以解决问题。

with tf.Graph().as_default():
    initializer = tf.random_uniform_initializer(-config.init_scale,
                                                config.init_scale)
    with tf.name_scope("Train"):
        train_input = PTBInput(config=config, data=train_data, name="TrainInput")
        with tf.variable_scope("Model", reuse=None, initializer=initializer):
            m = PTBModel(is_training=True, config=config, input_=train_input)
        tf.summary.scalar("Training Loss", m.cost)
        tf.summary.scalar("Learning Rate", m.lr)

    with tf.name_scope("Valid"):
        valid_input = PTBInput(config=config, data=valid_data, name="ValidInput")
        with tf.variable_scope("Model", reuse=True, initializer=initializer):
            mvalid = PTBModel(is_training=False, config=config, input_=valid_input)
        tf.summary.scalar("Validation Loss", mvalid.cost)

    with tf.name_scope("Test"):
        test_input = PTBInput(config=eval_config, data=test_data, name="TestInput")
        with tf.variable_scope("Model", reuse=True, initializer=initializer):
            mtest = PTBModel(is_training=False, config=eval_config,
                             input_=test_input)

    sv = tf.train.Supervisor(logdir=FLAGS.save_path)
    with sv.managed_session() as session:
        word2vec = loadEmbedding(word_to_id)
        session.run(tf.assign(m.embedding, word2vec))
        print("WORKED!!!")

我想这应该只是问题，正如您在first示例中所看到的，初始化在同一范围内。

将预训练词嵌入到Tensorflow模型中

1 个答案: