[Deep Learning] 反向传播算法(Backpropagation Algorithm)

Chain Rule(链式法则) Case 1 如果有: y=g(x) z=h(y)y = g(x)\ \ \ \ \ \ z = h(y)y=g(x) z=h(y) 那么“变量影响链”就有: Δx→ΔyΔz\Delta x\rightarrow \Delta y \Delta zΔx→ΔyΔz 因此就有: dzdx=dzdydydx\frac{d z}{d x} = \frac{d z}{d y}\frac{d y}{d x}dxdz​=dydz​dxdy​ Case 2 如果有: y=g(s) y=h(s) z=k(x,y)y = g(s)\ \