Question

我遵循了有关使用TF读取数据的教程，并自己做了一些尝试。现在，问题是我的测试在从CSV读取数据时创建的批次中显示重复数据我的代码如下所示：

# -*- coding: utf-8 -*-

from __future__ import absolute_import
from __future__ import division
from __future__ import print_function

import os 
import collections
import numpy as np

from six.moves import xrange  # pylint: disable=redefined-builtin
import tensorflow as tf

class XICSDataSet:    
    def __init__(self, height=20, width=195, batch_size=1000, noutput=15):
        self.depth = 1
        self.height = height
        self.width = width
        self.batch_size = batch_size
        self.noutput = noutput

    def trainingset_files_reader(self, data_dir, nfiles):

        fnames = [os.path.join(data_dir, "test%d"%i) for i in range(nfiles)]
        filename_queue = tf.train.string_input_producer(fnames, shuffle=False)

        reader = tf.TextLineReader()
        key, value = reader.read(filename_queue)
        record_defaults = [[.0],[.0],[.0],[.0],[.0]]
        data_tuple = tf.decode_csv(value, record_defaults=record_defaults, field_delim = ' ')
        features = tf.pack(data_tuple[:-self.noutput])
        label = tf.pack(data_tuple[-self.noutput:])

        depth_major = tf.reshape(features, [self.height, self.width, self.depth])

        min_after_dequeue = 100
        capacity = min_after_dequeue + 30 * self.batch_size
        example_batch, label_batch = tf.train.shuffle_batch([depth_major, label], batch_size=self.batch_size, capacity=capacity,
                                                                        min_after_dequeue=min_after_dequeue)

    return example_batch, label_batch

with tf.Graph().as_default():
ds = XICSDataSet(2, 2, 3, 1)
im, lb = ds.trainingset_files_reader(filename, 1)

sess = tf.Session()

init = tf.initialize_all_variables()
sess.run(init)
tf.train.start_queue_runners(sess=sess)

for i in range(1000):
    lbs = sess.run([im, lb])[1]
    _, nu = np.unique(lbs, return_counts=True)
    if np.array_equal(nu, np.array([1, 1, 1])) == False:
        print('Not unique elements found in a batch!')
        print(lbs)

我试过不同的批量大小，不同数量的文件，不同的容量值和min_after_dequeue，但我总是遇到问题。最后，我希望能够从一个文件中读取数据，创建批处理并对示例进行洗牌。我为此测试临时创建的文件有5行，每行代表样本，5列。最后一列是该样本的标签。这些只是随机数。我只使用10个文件来测试它。

Answer 1

tf.train.string_input_producer(fnames)的默认行为是在fnames中生成无限数量的元素副本。因此，由于您的tf.train.shuffle_batch()容量大于输入文件中的元素总数（每个文件5个元素* 10个文件= 50个元素），min_after_dequeue也大于元素数量，在生成第一批之前，队列将包含至少两个输入数据的完整副本。因此，某些批次可能包含重复数据。

如果您只想处理一次每个示例，则可以在创建num_epochs=1时设置明确的tf.train.string_input_producer()。例如：

def trainingset_files_reader(self, data_dir, nfiles):
    fnames = [os.path.join(data_dir, "test%d" % i) for i in range(nfiles)]

    filename_queue = tf.train.string_input_producer(
        fnames, shuffle=False, num_epochs=1)

    # ...

从文件minibatches TensorFlow读取的重复值

1 个答案: