交替方向乘子法（ADMM），这是一种简单而强大的算法，非常适合于分布式凸优化，特别是在应用统计和机器学习中出现的问题。ADMM协调局部子问题以找到大型全局问题的解决方案。ADMM试图融合对偶分解和增广拉格朗日约束优化方法的好处。下面是本人学习过程中的笔记。

参考文献：

[1] Boyd S ,  Parikh N ,  Chu E , et al. Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers[J]. Foundations & Trends in Machine Learning, 2010, 3(1):1-122.

下面是各个部分大图。