基本信息

---

下载

文档摘要

---

最速下降法

考虑无约束问题：

其中,函数f(x)具有一阶连续偏导数。

人们总希望从某一点出发，选择一个目标函数下降最快的方

向，以利于尽快达到极小点。

早在1847年，法国数学家Cauchy提出了最速下降法；后来，

Curry等人作了进一步的研究，现在最速下降法已经成为众所周

知的一种最基本的算法。

2

最速下降方向

函数在点x处沿方向d的变化率可用方向导数来表达，对于

可微函数，方向导数等于梯度与方向的内积，即

因此，求函数f(x)在点x处的下降最快的方向，可归结为求解下

列非线性规划：

根据Schwartz不等式，有

去掉绝对值符号，得到：

由上式可知，当

时等式成立，即负梯度方向为最速下降方向。

最速下降算法

最速下降算法

即

例：用最速下降法求解问题

练习：用最速下降法求解下列问题

22

minx?2xx?4x?x?3x

112212

取初点x(1)1,1T,迭代两次。

??

牛顿法

牛顿法

n(k)

设fx是二次可微实函数，x?R.又设x是f(x)

??

(k)

的极小点的一个估计，把f(x)在x二阶泰勒展开：

(k)(k)T(k)

f(x)??(x)f(x)??f(x)(x?x)

1

(k)2(k)(k)

?(x?x)?f(x)(x?x)

2

2(k)(k)

其中?f(x)是f(x)在x处的Hesse矩阵.

14

牛顿法

为求?(x)的平稳点，令

??(x)0

(k)2(k)(k)

即?f(x)+?f(x)(x?x)0

(k)

设?f(x)可逆，得到牛顿法的迭代公式

(k?1)(k)2(k)?1(k)

xx??f(x)?f(x)

用牛顿法求解下列问题

min(x?1)4?x2

12

取初点x(1)