优化算法（1）：最速下降法、牛顿法

文章目录 优化算法下降迭代算法前言要求收敛准则（criterion）线搜索 基本无约束优化算法最速下降法（梯度）优缺点改良方法步长改良 牛顿法优缺点牛顿法改良阻尼牛顿法Levenberg-Marquardt Method (Hesse奇异) Code

优化算法 下降迭代算法 前言

可能有很多刚开始学优化的同学还对一些知识还不太了解，那就先从一些基本的概念开始说起吧。 优化中，基本问题就是求解一个目标函数的最值，例如最小值。 那么，如何求解这个目标函数的最小值呢，很多函数无法通过数学公式直接得到解析解，或是求解的代价很大，因此更合理的方式是通过一系列的下降迭代算法来获取一个误差在可接受范围内的数值解 x ∗ x^* x∗ 今天首先要讲的就是无约束优化算法。

要求

首先，迭代产生的一系列点 { x i } {x_i} {xi​}需要满足下降性和收敛性，因此，下降迭代算法可以分解为以下几个问题：

寻找初始点 x 0 x_0 x0​确定下降方向 d k l d^kl dkl寻求在 d k d^k dk 方向的搜索步长 t k t^k tk，使其满足 x k + 1 = x k + t k d k f ( x k + 1 ) < f ( x k ) t k : f ( x k + t k d k ) = m i n   f ( x k + t d k ) x^{k+1} = x^k + t^k d^k qquad f(x^{k+1}) < f(x^k) \ t^k: quad f(x^k+t^kd^k) = min f (x^k + td^k) xk+1=xk+tkdkf(xk+1)