tf.nn.embedding_lookup有多快。从磁盘读取会不会更快?

时间:2018-07-03 15:20:51

标签: tensorflow nlp lookup

使用NLP时,有两个选择。预处理所有文本并创建最终向量以馈入神经网络。有时向量会变得非常大,每个句子包含15,000个元素,甚至更长。因此,将其读取和写入磁盘是一个负担。

或者,可以创建标记索引和负载嵌入矩阵,最后使用tf.nn.embedding_lookup生成矢量。不利的一面是,每个时期都会重复进行相同的查找。

我想哪种选择更好是一个有争议的问题,但是我想知道是否有人进行了比较或看到了任何比较结果?

0 个答案:

没有答案