要优化模型,我们可以使用梯度下降法训练带有数据集的模型,也可以使用神经进化仅生成第一个初始权重而不进行训练,而可以使用遗传进化来优化其子代。
实际上,我使用的是梯度下降,即使我使用相同的图层体系结构,相同的训练数据集和相同的测试数据集,我在两个不同模型之间的损失也会有所不同,并且我的模型的行为也略有不同在他们的环境中。
所以我想知道我们是否可以结合神经进化和梯度下降来完美地优化模型?
例如,生成一堆100个模型,在5个时期内在同一数据集上训练它们,然后使用遗传进化方法只选择更好的结果,并在给定情况下采用完美的行为?