嵌入的大小是否会对训练速度产生巨大影响?

时间:2018-03-01 06:30:38

标签: tensorflow word-embedding

在我的文本分类任务中,我使用向量来表示单词。 在我扩大词汇量(词维度仍为128)后,从200000到1000000,训练步骤时间从0.1s到0.4s。 这是嵌入张量创作这个词:

tf.get_variable('embedding', shape, dtype=dtype, return tf.get_variable('embedding', shape, dtype=dtype, initializer=tf.random_normal_initializer(stddev=0.1), trainable=True)

句子由单词id组成,向量将从上面的嵌入张量中查找。

inputs_embedding = tf.contrib.layers.embedding_lookup_unique(embedding, inputs)

令我困惑的是,为什么词汇量的大小会对训练速度产生重大影响。这是正常的吗?

0 个答案:

没有答案