QueueDequeue步骤是Tensorflow代码中的一个重要瓶颈

Question

我已经看到了一些关于导致瓶颈的出列步骤的其他问题，但我已经尝试了很多这些建议而没有取得任何成功：

1. 我正在使用基于cpu count的多个线程
2. 我尝试过小批量（100个）和更大批量（1000个）
3. 我尝试过切换到shuffle_batch_join和batch_join

这些事情似乎都没有帮助整个时间。此外，Dequeue步骤在我的代码中造成瓶颈的程度似乎比其他人经历的更糟糕。当你看时间线时，所有其他步骤实际上相比之下消失了。我想知道这是否部分来自使用BigQuery和BigQueryReader作为我的来源，尽管其他人也经历了减速我假设它不是唯一的原因。



我不完全确定如何正确解释此图表，但似乎问题不是由完全空的队列引起的。

其他信息

• 容量设置为批量大小* 10
出列后
• min设置为批量大小* 2 + 1
• enqueue many设置为true

在使用bigquery作为我的数据来源的同时，有没有人想过我还能尝试加快速度？