最优化理论与方法期末考核要点简记

1.引言
范数：向量范数（1,2，∞）、矩阵范数（1,2，∞）
实函数：连续∈C(S),连续可微∈C1(S),二阶连续可微∈C2(S)；梯度：（N维列向量）；海塞阵；Talylor展开
向量值函数：Jacobi矩阵、链式法则、隐函数存在定理
凸：凸集、凸函数、凸规划、凸集分离定理

2.线性规划
单纯形法、两阶段法、大M法
退化、修正单纯形法
对偶、对偶单纯形表、灵敏度分析
强/弱互补松弛定理

3.最优性条件
无约束最优性条件
约束极值问题最优性条件
对偶及鞍点问题

4.一维搜索：
二分，0.618，斐波那契，折纸
割线、牛顿、抛物线
插值
精确/非精确 Amijo search？wolfe search

5.导数最优化方法
计算及收敛性分析：
SD
Newton
CG
BFGS
信赖域
最小二乘（某些特殊问题可等价于）：线性/非线性

6.惩罚函数法
外点
内点

7.二次规划

附录：
算法收敛性及收敛速率