我正在训练一个复杂的神经网络架构，然后使用RNN对我的输入进行编码，然后是一个带有softmax输出层的深度神经网络。
我现在正在优化我的架构深度神经网络部分（单位数和隐藏层数）。
我目前正在为所有图层使用sigmoid激活。对于少数隐藏层来说这似乎没问题，但随着层数的增长，似乎sigmoid不是最佳选择。
你认为我应该首先对sigmoid进行超参数优化然后再调用ReLu，或者直接使用ReLu更好吗？
另外，你认为只有在最后一个隐藏层中使用Relu并且在最后一个隐藏层中使用sigmoid才有意义，因为我有一个softmax输出。
答案 0 :(得分：0)
您无法独立优化超参数，不能。仅仅因为最终的最佳解决方案恰好是X层和Y节点，并不意味着对于所有激活函数，规则化策略，学习速率等都是如此。这使得优化参数变得棘手。这也是为什么存在用于超参数优化的库的原因。我建议您首先阅读“随机搜索优化”的概念。