由tf.data.Dataset.from_tensor_slices填充的tf.data.Dataset是否可以对数据进行深层复制?

时间:2018-09-23 00:17:36

标签: python c++ tensorflow tensorflow-datasets

根据张量流,tf.data.Dataset是

“数据集可用于将输入管道表示为元素的集合(张量的嵌套结构)和作用于这些元素的转换的“逻辑计划”。”

当我使用tf.data.Dataset.from_tensor_slices导入数据时

“创建一个数据集,其元素是给定张量的切片。”

但是,我不清楚这些嵌套张量中是否填充有硬拷贝的数据,使用指针访问数据或通过引用工作。我主要担心的是,使用tf.data.Dataset.from_tensor_slices导入数据是否可以对数据进行硬拷贝,以免出现内存不足的情况。

我尝试通过使用相同的输入数据制作两个tf.data.Datasets来使用小型数据集进行基准测试。我只是查看正在运行的程序使用了多少内存,在某些情况下,它是数据大小的一半,在第二种情况下(使用数据的一半),我得到了奇怪的结果。

0 个答案:

没有答案