如何在多个GPU中运行多个keras模型？

Question

我们需要在多个GPU上执行并行预测，其中每个Keras模型都分配给一个GPU。到目前为止，我们可以通过生成多个进程来完成此任务，并通过隐藏其他进程将它们分配给特定的GPU。没问题。

private Vector3[] buttonPos = null;

但是，我们有一项长期运行的工作，需要执行此并行任务10000次。每次迭代都需要加载keras模型，这对我们来说是巨大的成本。有什么避免的提示吗？