@tf.custom_gradient

@tf.custom_gradient 初衷 网上资料较少,而且官方文档比较ambigious(也许有误),花了比较久的时间搞懂这个修饰器,记此贴防止大家走弯路。 官方文档 参考文档 介绍 @tf.custom_gradient 装饰器允许控制对梯度的一连串操作,这样做的好处是对梯度操作提供一种更有效率更稳定方式。 考虑一种情况 由于数值不稳定性,x=100处的梯度(▽f=∂f∂xi⃗\bigtriangledown f=\frac{\partial f}{\partial x}\vec i▽f=∂x∂f​i)由函数得到的值为NanNanNan 解决方法 使用@custom_gradi