【完结】73 - 课程总结和进阶学习【动手学深度学习v2】

课程总结和进阶学习
数据

直播设置

大纲回顾
课程总结和进阶学习 P1 - 05:37
1、深度学习基础
- 线性回归
- Softmax 回归
- 多层感知机
- 模型选择
- 过拟合、欠拟合
- 权重衰退
- Dropout
- 数值稳定性
- 模型初始化和激活函数
2、卷积神经网络
- LeNet
- AlexNet
- VGG
- NiN
- GoogleNet
- ResNet
3、计算机视觉
- 图片增广
- 微调
- R-CNN 、SSD 、YOLO
- FCN
- 样式迁移
4、循环神经网络
- RNN 、GRU 、LSTM
- 深层、双向RNN
- Seq2Seq
5、注意力机制
- Seq2Seq + attention
- Transformer
- BERT
6、性能
- CPU 、GPU 、ASIC
- 使用(多)GPU
- 分布式
7、应用
- 房价预测
- 图片分类
- 物体检测
- 语义分割
- BERT
- 样式迁移
- 语言模型
- 机器翻译
- 自然语言推理
未讲到的应用和模型
课程总结和进阶学习 P1 - 09:34
1、计算机视觉
- 人脸识别
- 体态识别
- 无人驾驶
- 图片合成
- 超分辨率
- 医学图片
2、自然语言处理
- 文本分类
- 文本合成
- 文本摘要
- 实体命名识别
3、图神经网络
- 如何对给定的图的输入做神经网络
4、语音识别
- 也是时序数据
- 虽然是一个单通道,但是可以通过频谱变成多通道
5、时序识别
- 比如股票预测
6、玩游戏
- Reinforcement Learning
7、代码生成
- GPT3
- 通过注释来生成代码
8、音乐
9、推荐系统
斯坦福 2021 秋季新课:实用机器学习
课程地址
课程主页:https://c.d2l.ai/stanford-cs329p/
B站:https://space.bilibili.com/1567748478/channel/seriesdetail?sid=358496
和《动手学深度学习》课程的联系:互补
- 《动手学深度学习》主要讲模型
- 《实用机器学习》主要讲机器学习落地的技术
课程大纲
课程总结和进阶学习 P1 - 13:10
1、基础建模
- 数据收集
- 数据处理
- 模型验证
- 模型融合
2、不正确的假设
- Covariate/concept/lable 偏移
- IID 以外的数据(时序、图)
3、性能调优
- AutoML
- 模型蒸馏
- 多模块数据
4、模型之外
- 模型部署
- 公平
进阶建议(如何学习新东西)
知识积累
1、可以看朋友圈分享,但更要主动获取信息、建立知识库
- 如果只是看了很多的点,就和机器学习记住每个数据一样,没有泛化性
- 泛化性来自于自己建立知识库,将知识点连成线,建立一个完整的自己对于整个领域的认识
- 可以不用知道每个具体的点是如何实现的细节,但是要对整个领域有大概的认识,清楚内在的联系
2、学会读论文
- 通过朋友圈和知乎可能会相对容易一点,但是读论文才是核心
- 经典论文需要读懂每一句话
- 结合代码来了解细节(例如:https://paperswithcode.com/)
- 可以看 openreview 上的评论
3、对读过的论文做整理
实践
1、可以参加竞赛练手,但注意竞赛跟研究和工业界落地都不一样,不要被竞赛带偏了
- 竞赛:调最好的参、模型融合(可以用最复杂的模型调到最好)
- 研究:新的模型、调还不错的参(研究更加强调模型的创新)
- 工业界:将应用表达成机器学习问题、收集数据(对模型的关注相对来讲不是很高)
2、多研究开源代码,跟开发者多交流,积极贡献
- 可以从修文档开始
- 多和其他人交流是最简单的获得一手资料的方式
感谢

Q&A
- 1、请问深度学习算法提取的特征一定比人工提取的特征好用吗?
- QA P2 - 00:00
- 2、请问读研方向是医学图像处理的话,找工作是医学相关的更好,还是主要针对图像处理学习呢?
- QA P2 - 00:18
- 3、请问我们在学习过程中,需要看懂代码的每一句话,理解代码思路,还是会用就可以了?
- QA P2 - 01:04
- 4、请问在使用 GPU 训练模型时,出现 Excepted all tensors to be on the same device,but found at least two devices,cuda:0 and cpu!,但是我找不到哪些数据在 GPU 上,这类情况应该如何 debug?
- QA P2 - 01:31
- 5、请问老师基于迁移学习做分类和目标检测,这两个您更推荐哪个方向呢?
- QA P2 - 01:48
- 6、请问老师平时要在亚马逊工作,业余还要讲课,还要带娃,请问是如何进行时间管理的?
- QA P2 - 02:13
- 7、老师能说下最近 nature 上的 swarmlearning 吗?您觉得这个计算范式前景怎么样?
- QA P2 - 03:15
- 8、请问想要把会用的代码改得更好,是不是最好明白数学原理?
- QA P2 - 03:24
- 9、老师您好,机器学习现在大多数都是应用在图像上,图像上也有很明显的特征,但是怎么应用到数据库数据中呢?数据库数据特征怎么提取放在机器学习中?
- QA P2 - 03:55
----end----
其他参考
1、《动手学深度学习》,课程 PPT ,https://courses.d2l.ai/zh-v2/assets/pdfs/part-4_3.pdf