我和我的一位同事目前正在尝试在Tensoflow2中实现一些知识提炼的变体。 Hinton撰写了一篇有关在线知识提炼的论文，我们希望以此为基础。问题似乎在于Tensorflow2不支持在“真实”并行中在不同GPU上训练不同模型。
有什么办法可以在我们可以指定的GPU上并行训练不同的模型？还是唯一可行的解决方案是重新从头开始并在Cuda中从头开始实现所有功能？
截至目前，在最近几年的出版物中，我们没有发现任何可行的例子。这种类型的并行性似乎是“被设计禁止”的。
我们将不胜感激，因为从头开始似乎是一项艰巨的工作。