1。关于培训

Question

我对阅读数据和批次相关事情感到困惑。

我读了这样的png：

trainInputQueue = tf.train.string_input_producer(filePaths, shuffle=False)
key, value = tf.WholeFileReader().read(trainInputQueue)
images = tf.image.decode_png(value, channels=0)
images = tf.reshape(images, para['shape'])
images.set_shape(para['shape'])
images = tf.cast(images, tf.float32) * (1. / 255) - 0.5
return images

然后用上面的代码读取结果trainX，testX。他们都是png。

然后我用tf.placeholder作为输入和输出来定义我的网络。

然后我用：

批量生产

trainXBatch, trainYBatch = tf.train.batch(
    [trainX, trainY],
    batch_size=batch_size
)

直到这里，它们都是传统的东西。读取的数据是张量，而不是numpy.ndarray或列表。

然后我的问题如下。我真的需要一些示例代码来学习：

1。关于培训

val, c = sess.run([optimizer, cost], feed_dict={X: trainXBatch.eval(), Y: trainYBatch.eval()})

当我训练模型时，我如何确保使用所有数据？ “eval（）”的工作方式是什么？每次返回新的batch_size数据或其他方式？我试过了

for i in range( a very big number):
    val, c = sess.run([optimizer, cost], feed_dict={X: trainXBatch.eval(), Y: trainYBatch.eval()})

'eval（）'总是可以返回数据，并且数据不相同。我不知道我是否使用了所有数据以及来自eval的返回数据是否有效。

使用mnist的tensorflow中的示例有一个名为“next_batch”的函数，但是当我使用自己的数据时我没有这个...

我只是想知道如何使用像keras这样的传统方式使用数据来训练标签。

2。关于模型保存

在训练阶段，我使用saver作为：

saver = tf.train.Saver(tf.all_variables())
with tf.Session() as sess:
    #...some codes
    saver.save(sess, model_path + '/' + modelNamePrefix + model_name)

并处于预测阶段：

saver = tf.train.Saver(tf.all_variables())
# other codes same as training phase
with tf.Session() as sess:
    sess.run(init)
    saver.restore(sess, model_path + '/' + modelNamePrefix + model_name)
    # then use sess.run to predict

这些代码对吗？我没有得到很好的结果，所以我不确定它是否有效。

3。关于预测

问题就像问题1，关于评估。例如，我有1000个图像要预测，图像在testX中，print(testX.get_shape())我可以看到（？，32,32,3），与trainX相同。但是使用相同的模型，testX.eval（）无法直接发送到feed_dict。也许我还需要

testXBatch, testYBatch = tf.train.batch(
    [testX.data, testY.data],
    batch_size=1
)

但是！如何确保预测所有测试数据？我只是用

for i in range(a big number):
    yimgs = sess.run(y_pred, feed_dict={X: testXBatch.eval()})

并且程序可以比我的测试图像输出“大量”图像。如何以舒适的方式预测测试图像？

Answer 1

第1部分

根据the tf.train.batch documentation，对于您的第一个问题，当批次用尽时，该对象将抛出tf.errors.OutOfRangeError。它还包含一个元素capacity，它可以告诉您队列中有多少项。您可以使for循环运行直到队列耗尽，以防万一找到该错误：

try:
    for _ in range(a_batch.capacity // a_batch.batch_size):
        # run your training operation
except tf.errors.OutOfRangeError:
    pass

第2部分

至于你的第二个问题，我只花了一些时间处理保存和恢复问题。查看this example以获取一些解释。基本上，您可以按照自己的方式保存模型，但我建议您为要在以后使用的任何操作或变量的name字段分配唯一值。这使得以后更容易找到它们。保存模型时，会得到一个名为[filename].meta的文件。要恢复会话和图表：

tf.reset_default_graph()  # include this if you are working in a notebook and may already have a graph designed
saver = tf.train.import_meta_graph('/path/to/[filename].meta')
sess = tf.Session()
saver.restore(sess, '/path/to/[filename]')  # leave off the ".meta"
graph = sess.graph

并加载您命名的任何操作或变量：

tensor_name = graph.get_tensor_by_name('tensor_name:0')  # note the ":0"

如果您使用tf.add_to_collection()保存任何运算符，请使用：

op_name = tf.get_collection('op_name')[0]

第3部分

可能比较棘手？您是如何设置网络的数据占位符的？如果您将它们定义为：

data = tf.placeholder(tf.float32, [None, 32, 32, 3], name='data')

然后你应该能够将任何批量大小提供给你的网络，它将神奇地压缩它：

test_error = sess.run(my_error_op, feed_dict={data: all_the_test_data})

我发现this example on GitHubGist有助于理解这一点。它听起来并不像你的问题，但可以帮助你找到问题的根源。

TensorFlow：如何顺利使用管道来加载，训练和预测图像？

1。关于培训

2。关于模型保存

3。关于预测

1 个答案:

第1部分

第2部分

第3部分