自定义Tensorflow优化器，用于噪声不可微分损耗功能

Question

我使用低级tensorflow API构建了一个模型，它只有一些我想要优化的变量（大约10个）。因此，我想实现一个产生噪声损耗值的自定义损耗函数（有点像基于仿真的优化方法）。

通常我会使用像SPSA优化器那样的衍生免费优化器。

有没有办法实现不可区分的损失函数和像SPSA这样的低级tensorflow API的优化器？

PS：有人可能会问为什么要使用tensorflow？这是因为我想使用张量流来方便地保存模型和张量板，以方便和全面的可视化。此外，我希望能够在标准化框架中切换和比较不同的模型。

Answer 1

我认为SPSA也可以使用不可微分的功能。 对于SPSA实施：https://github.com/fraunhofer-iais/tensorflow_spsa