拉格朗日函数，对偶函数，(凸)共轭函数

考虑一个最优化问题：

该最优化问题的定义域：

上述问题的拉格朗日函数为：

该问题的对偶函数为：

f(x)的(凸)共轭函数的定义为：

下面推导共轭函数和对偶函数的关系。首先将约束条件矩阵化，考虑如下最优化问题：

其对偶函数为：

因此对偶函数可以通过共轭函数表示。而共轭函数又可以通过原函数表示。那么共轭函数将对偶函数和原函数连接起来。