Question

给出数据集中的一些数据（或张量） tensor = tf.constant([1, 2, 3, 4, 5, 6, 7])

我需要通过替换来绘制（比如说N）来创建M批4 x 3个元组。一个示例小批量可能是

 [[1 2 3], [3, 4 5], [2, 3, 4], [5, 6, 7]]

目的是避免以这种形式创建数据集

[[1, 2, 3]
  [2, 3, 4]
  [4, 5, 6]
 ]

因为大量冗余。当我将新的小批量送入培训过程时，应该动态创建批次。

Answer 1

我找到了一种方式here，您认为这是最佳的吗？或者以某种方式直接部署队列更好？

此代码基于以上链接

import tensorflow as tf
import numpy as np


def gen_batch():

    # compute number of batches to emit
    num_of_batches = round(((len(sequence) - batch_size) / stride))

    # emit batches
    for i in range(0, num_of_batches * stride, stride):
        result = np.array(sequence[i:i + batch_size])
        yield result


sequence = np.array([1, 2, 3, 4, 5, 6, 7, 8, 9])
batch_size = 3
stride = 1

ds = tf.data.Dataset.from_generator(gen_batch, tf.float64)
ds = ds.shuffle(100)
ds_out = ds.make_one_shot_iterator().get_next()

sess = tf.Session()

print(sess.run(ds_out))
print(sess.run(ds_out))
print(sess.run(ds_out))
print(sess.run(ds_out))
print(sess.run(ds_out))

打印：

[3. 4. 5.]
[1. 2. 3.]
[2. 3. 4.]
[4. 5. 6.]
[5. 6. 7.]

Tensorflow重叠迷你批次

1 个答案: