从tfrecords文件导入数据时出现问题。 tfrecords中的每个样本都包含一个长度为100的feautures向量和一个长度为13的单热标签向量。我使用下面的代码从tfrecords导入数据,参考官方指南https://www.tensorflow.org/programmers_guide/datasets
def read_data(examples):
features = {"features": tf.FixedLenFeature([seq_len], tf.int64),
"label": tf.FixedLenFeature([category], tf.int64)}
parsed_features = tf.parse_single_example(examples, features)
return parsed_features['features'], parsed_features['label']
# get next batch of data and label
def next_batch(filename, batch_size):
data = tf.data.TFRecordDataset(filename)
data = data.map(read_data)
data = data.batch(batch_size)
iterator = data.make_one_shot_iterator()
next_data, next_label = iterator.get_next()
return next_data, next_label
with tf.Session() as sess:
filetrain = 'train.tfrecords'
next_data, next_label = next_batch(filetrain, num_example_train)
sess.run(tf.global_variables_initializer())
data = sess.run(next_data)
label = sess.run(next_label)
问题是批处理后标签的顺序会出错。如果我删除代码'data = data.batch',一切都OK。
我认为一个可能的原因是功能和标签是独立批处理的。因此我尝试在批处理后解析示例,但得到错误“输入序列化必须是标量”。如果您知道如何处理这个问题,请帮助我,非常感谢!
答案 0 :(得分:1)
我确信这是重复的,但我无法找到另一个问题,所以我会在这里回答。
您的问题是为数据和标签调用sess.run()
两次。 每当您致电sess.run
时,您的图表都会被评估(即,提取新批次并在图表中运行,直到 all 列表中的张量值你以第一个参数传递给run
已经知道了。
这样做,您的data
和label
会引用两个不同的批次(因此它们看起来错了)。
你需要在同一个电话中使用:
data, label = sess.run([next_data, next_label])