如果无法获得渐变，是否有类似渐变下降的方式？

Question

函数f将输入作为一组参数输出并作为精度输出。无法获得f的梯度，是否有类似渐变下降的方式，如有限差分？

Answer 1

实际上，您无法获得渐变的准确性。有一个明确定义的精度梯度。参数。问题是它几乎无处不在等于0 。因此，任何近似技术（例如采样，有限差分）也将起作用，并为您提供0梯度。有许多无梯度优化，但就其本质而言，它们的效率低了几个数量级，并且通常称为“元优化器”，例如盆环，模拟退火，遗传算法等。