是否tf.recorder读取数据的方式比占位符的效率更高效?

时间:2018-01-11 22:23:16

标签: python tensorflow neural-network deep-learning

我在Tensorflow中处理大量数据。

一种方法是定义占位符,然后通过我自己在图形之外定义的函数读取我的数据,例如队列,每次都将批量输入到占位符中。

另一种方法是在Tensorflow中使用与记录器相关的内置类来直接读取数据作为张量。

我搜索但未能找到两者之间的任何相关比较。有没有人知道他们的优势和不利因素,尤其是效率?当你使用tensorflow时,你们更喜欢哪一个?

1 个答案:

答案 0 :(得分:0)

比较和讨论了Tensorflow中读取数据的不同方法here,并进行了更多比较here

tfrecord允许以块的形式读取数据,因此您可以处理超出RAM容量的数据。此外,它可以使用tf.Coordinatorstart_queue_runners以单独的线程读取数据的方式进行排列。可以找到更多信息here