Tensorflow上的流式计算

Question

我正在尝试使用Tensorflow对大量（~100GB）量的视频数据进行计算。计算图将是一个简单的管道，有两个部分，一个在CPU上运行，另一个在GPU上运行。管道在各个框架上运行，我不需要进行任何培训。

因此假设其他一些线程负责将帧加载到FIFOQueue queue_in并从queue_out卸载它们，代码将如下所示：

frame = queue_in.dequeue()
output = queue_out.enqueue(gpu_op(cpu_op(frame)))

with tf.Session():
    output.run()

我的问题如下：有什么方法可以运行这个管道，以便 GPU op和CPU op在两个连续的帧上同时运行？

谢谢！

Answer 1

我建议为该工作使用tf.data。以下performance guide讨论了如何实现您感兴趣的流水线。