Tensorflow中的Gauss-Newton产品

Question

我想使用Hessian的Gauss-Newton近似作为优化问题的度量，例如用于在GAE https://arxiv.org/abs/1506.02438中拟合值函数的方法。但是，有谁知道如何有效地计算这些产品？问题是我无法在Tensorflow中计算现成的Jacobian，这使得很难对每个示例进行一级计算。本技术报告https://arxiv.org/pdf/1510.01799.pdf给出了一种解决方案，但这会对可以使用的网络架构施加一些限制。它是否存在更普遍的解决方案？

Answer 1

截至2017年4月，在TensorFlow中没有通用的有效计算每个示例渐变的方法，在所有示例中调用tf.gradients可能是目前最好的。