在我的文本分类任务中,我使用向量来表示单词。 在我扩大词汇量(词维度仍为128)后,从200000到1000000,训练步骤时间从0.1s到0.4s。 这是嵌入张量创作这个词:
tf.get_variable('embedding', shape, dtype=dtype, return tf.get_variable('embedding', shape, dtype=dtype, initializer=tf.random_normal_initializer(stddev=0.1), trainable=True)
句子由单词id组成,向量将从上面的嵌入张量中查找。
inputs_embedding = tf.contrib.layers.embedding_lookup_unique(embedding, inputs)
令我困惑的是,为什么词汇量的大小会对训练速度产生重大影响。这是正常的吗?