为了在 Tensorflow 中训练 LSTM模型,我将数据结构化为 tf.train.SequenceExample 格式并将其存储到 TFRecord文件。我现在想使用新的DataSet API 生成用于培训的填充批次。在the documentation中有一个使用padded_batch的示例,但对于我的数据,我无法弄清楚 padded_shapes 的值应该是什么。
为了将TFrecord文件读入批处理,我编写了以下Python代码:
import math
import tensorflow as tf
import numpy as np
import struct
import sys
import array
if(len(sys.argv) != 2):
print "Usage: createbatches.py [RFRecord file]"
sys.exit(0)
vectorSize = 40
inFile = sys.argv[1]
def parse_function_dataset(example_proto):
sequence_features = {
'inputs': tf.FixedLenSequenceFeature(shape=[vectorSize],
dtype=tf.float32),
'labels': tf.FixedLenSequenceFeature(shape=[],
dtype=tf.int64)}
_, sequence = tf.parse_single_sequence_example(example_proto, sequence_features=sequence_features)
length = tf.shape(sequence['inputs'])[0]
return sequence['inputs'], sequence['labels']
sess = tf.InteractiveSession()
filenames = tf.placeholder(tf.string, shape=[None])
dataset = tf.contrib.data.TFRecordDataset(filenames)
dataset = dataset.map(parse_function_dataset)
# dataset = dataset.batch(1)
dataset = dataset.padded_batch(4, padded_shapes=[None])
iterator = dataset.make_initializable_iterator()
batch = iterator.get_next()
# Initialize `iterator` with training data.
training_filenames = [inFile]
sess.run(iterator.initializer, feed_dict={filenames: training_filenames})
print(sess.run(batch))
如果我使用dataset = dataset.batch(1)
(在这种情况下不需要填充),代码效果很好,但是当我使用padded_batch
变体时,我收到以下错误:
TypeError:如果浅层结构是序列,则输入也必须是a 序列。输入有类型:。
你能帮我弄清楚我应该为 padded_shapes 参数传递什么内容吗?
(我知道有很多使用线程和队列的示例代码,但我宁愿在这个项目中使用新的DataSet API)
答案 0 :(得分:9)
你需要传递一组形状。 在你的情况下,你应该通过
dataset = dataset.padded_batch(4, padded_shapes=([vectorSize],[None]))
或尝试
dataset = dataset.padded_batch(4, padded_shapes=([None],[None]))
检查此code以获取更多详细信息。我不得不调试这个方法来弄清楚它为什么不适合我。
答案 1 :(得分:1)
如果您当前的Dataset
对象包含元组,您还可以指定每个填充元素的形状。
例如,我有一个(same_sized_images, Labels)
数据集,每个标签的长度不同但排名相同。
def process_label(resized_img, label):
# Perfrom some tensor transformations
# ......
return resized_img, label
dataset = dataset.map(process_label)
dataset = dataset.padded_batch(batch_size,
padded_shapes=([None, None, 3],
[None, None])) # my label has rank 2
答案 2 :(得分:1)
您可能需要从数据集输出形状中获取帮助:
padded_shapes = dataset.output_shapes
答案 3 :(得分:0)
当心不要传递元组的元组。这给出了一个非常模糊的错误,即“无法将值None转换为类型Nontype”。
那么正确:
padded_shapes = ([None, None], [None])
不正确:
padded_shapes = ((None, None), (None))