张量流

时间:2016-12-05 03:56:15

标签: tensorflow

我不完全确定两个渐变裁剪操作符clip_by_average_normclip_by_norm之间的区别。从文档中看,差异似乎是clip_by_norm使用l2norm而不是l2norm_avg

我理解梯度的L2范数是什么,但“平均L2范数”对应的是什么?

文档参考

1 个答案:

答案 0 :(得分:2)

文档有点含糊不清,来自testimpl,似乎output.txtavg_norm

norm/len(vector)