我正在tensorflow中创建一个模型，所有图层都以 relu 作为激活层。但是，当批量大小增加到500时，我想更改模型，使得输出层的第二个最后一层具有 sigmoid 激活层。
我感到困惑的是，我需要重新初始化所有变量，因为我正在替换中间的优化器？或者我保留旧变量？
答案 0 :(得分：0)
这是一个非常有趣的问题。我认为这取决于您的数据集和模型。
是的：也许，您可以使用权重（批量大小500之前）进行预训练，就像Deep Belief Networks（RBM）所做的那样。
否：也许，这些经过预先训练的砝码会损害您的模型，并且可能不会比其他优秀的初始化程序（例如xavier初始化程序https://www.tensorflow.org/versions/r0.8/api_docs/python/contrib.layers.html#xavier_initializer
更好我认为值得尝试两种选择。