关于【深度学习中的数学】的课件等答疑

看到有不少人问是否有课件和教材的问题，在这里给一个齐老师的统一回答：

我在讲的过程中没有完成follow任何一本具体的书，但是以下书籍是我比较喜欢也认真读过的（一两个只读了其中的一部分，没有全读完，后面有时间我会读完的）， 对我讲的东西很有帮助，大家有时间可以读读，
1. Deisenroth, Marc Peter, A. Aldo Faisal, and Cheng Soon Ong. Mathematics for machine learning. Cambridge University Press, 2020.
2. Nesterov, Yurii. "Introductory lectures on convex programming volume i: Basic course." Lecture notes 3, no. 4 (1998): 5.
3. Nocedal, J., & Wright, S. J. (Eds.). (1999). Numerical optimization. New York, NY: Springer New York.
4. Wright, J., & Ma, Y. (2022). High-dimensional data analysis with low-dimensional models: Principles, computation, and applications. Cambridge University Press.
5. Beck, Amir. First-order methods in optimization. Society for Industrial and Applied Mathematics, 2017.

还有很多的论文是我会经常提到的，
1. ResNet

readpaper.com/paper/2949650786

2. Transformer

readpaper.com/paper/2963403868

3. Xavier Ininitalization

readpaper.com/paper/1533861849

4. LayerNorm

readpaper.com/paper/3037932933

5. BatchNorm

readpaper.com/paper/2949117887

6. Lipsformer

readpaper.com/paper/717255664598069248

7. understanding optimization of deep learning via jacobian matrix and lispchitz constant

readpaper.com/paper/4815122133717876737

8. Adam

readpaper.com/paper/1522301498

9. AdamW

readpaper.com/paper/2768282280

10. llama, opt, palm等大模型论文

6,7是我们自己写的两个文章， 讲的过程中我参考了很多， 但是也补充了很多上面没有的基础知识。

具体的很多概念， 我很多是参考Wikipedia， 像matrix calculus, SVD, Lipschitz continuity, convex function, taylor expansion等等。

那些论文如果你都读一下会很有帮助，那些书都是打基础的非常好的，wikipedia其实也很有帮助。