Scipy的数值优化：实用建议

Question

我正在尝试学习Scipy，将其用于基于仿真的优化。基于模拟模型评估目标函数，而不具有关于衍生物的任何信息。违反约束条款会受到惩罚。在过去的几年里，我更多地从事模拟工作，而我的优化知识基于一些课程，因此我缺乏“实用知识”。我还使用scipy搜索了一些实用指南 - 但我找不到任何相关的东西。我想测试来自scipy.optimize.minimize的几种算法，如Nelder-Mead或TNC或scipy.optimize.differential_evolution。我列出了在试图进入这个主题的最后一周出现的一些基本问题：

• 优化函数的值（范围）：该值是否应为1？我研究了一个例子，我试图最小化输入轨迹（目标函数是最小化积分）。如果我不缩小它，则值为1e7。惩罚期应该在多大的范围内？你会如何在每次迭代中增加惩罚期限？
• 这个问题与前面的问题有关：我猜一些设置取决于目标函数值的大小：终止容差，用于jacobian数值逼近的步长，行搜索的最大步骤或 xtol / xatol 和 ftol / fatol 。有一些实用的建议吗？

如果有人可以帮助我，或者链接到实际的例子/文献，那将会很棒。

感谢您的帮助。