运行多个Tensorflow图以推断多个过程中的同一输入

Question

我在相同的训练数据上训练了多个神经网络模型。现在，我想评估它们的性能，同时保持尽可能短的推理时间。关于this tutorial，我使用python的multiprocess模块，这是我的代码的主要块：

import multiprocess as mp

output = mp.Queue()
process = [mp.Process(target=inference, # a function that performs inference
                 args=(graph, ... # other arguments)
                 for graph in graphs # frozen graphs of different models]
for p in process:
    p.start()
for p in process:
    p.join()
for p in process:
    result = output.get()

但是，事实证明，在多个进程上运行推断会带来真正不可预测的结果。没有一个模型能够给出正确的预测，但是当每个模型单独运行时，它们大多数都是准确的。我可能做错了什么？