jupyter使用Python编程— 使用梯度下降法求多元函数的极值和系数并与最小二乘法进行比较

使用梯度下降法求多元函数的系数并与最小二乘法进行比较梯度下降法的原理和概念梯度下降法求解多元函数的极值梯度下降法求解多元函数的系数最小二乘法求解多元函数的系数比较和总结 梯度下降法的原理和概念 偏导数:就是对函数的两个未知数求微分 然后得到的函数 例如一个函数为y=x12+x22+2x1x2 d(y)/d(x1)=2×1+2×2 d(y)/d(x2)=2×2+2×1 学习率: 也称为迭代的步长,优化函数的梯度是不断变化的,有时候变化很大,有时候变化很小,所以需要将每次的梯度变化控制在一个合适的范围内。 梯度: 梯度其实就是函数的变化率,在多元函数中,梯度变为了向量,有了变化的方向。 梯度的方向