问题： 我有一个模型，我想用独立的数据集训练。之后，我想提取每个模型的权重（每个实例的模型相同，但使用不同的数据集进行训练），最后计算这些权重的平均值。基本上，我的目的是模仿在多个设备上运行的张量流，然后平均它们的权重，以便它们被一个模型使用。
我的解决方案： 我将此模型多次添加到tensorflow，并且我目前正在使用其独特的数据集分别训练每个模型..但这是使用GB的内存，我想知道是否有更好的方法来做到这一点？
答案 0 :(得分：0)
可能的解决方案之一是您可以使用其他类似的网络（类似的数据集，即，如果您的数据集是图像，您可以使用AlexNet权重）微调您的网络权重，如果您的网络有，请不要担心没有相同的架构，您可以根据需要简单地加载图层的权重，并通过“load_with_skip＆＃39;的功能 https://github.com/joelthchao/tensorflow-finetune-flickr-style/blob/master/network.py
精细调整比从头开始训练网络要少得多，