用于回归问题的深度学习架构

Question

我有一个回归问题，我想从5个实值输入（p0，...，p4）估计10个实值输出（c1，...，c10）。

我测试了许多深度网络架构，例如：5-> 512-> 512-> 512-> 128-> 128-> 128-> 10，其中RELU激活功能和Adamax优化器的学习速率为0.005。

但是，对于所有经过测试的体系结构，学习率，激活函数...我的损失函数收敛到我发现不是最佳的值。

如何改善回归结果？

您对要使用的其他模型或体系结构有何建议？

我可以在哪个超参数上发挥作用而不能迅速收敛？