欢迎光临散文网 会员登陆 & 注册

【完结】73 - 课程总结和进阶学习【动手学深度学习v2】

2022-12-30 23:43 作者:如果我是泡橘子  | 我要投稿

课程总结和进阶学习


数据





直播设置





大纲回顾


课程总结和进阶学习 P1 - 05:37


1、深度学习基础

  • 线性回归
  • Softmax 回归
  • 多层感知机
  • 模型选择
  • 过拟合、欠拟合
  • 权重衰退
  • Dropout
  • 数值稳定性
  • 模型初始化和激活函数

2、卷积神经网络

  • LeNet
  • AlexNet
  • VGG
  • NiN
  • GoogleNet
  • ResNet

3、计算机视觉

  • 图片增广
  • 微调
  • R-CNN 、SSD 、YOLO
  • FCN
  • 样式迁移

4、循环神经网络

  • RNN 、GRU 、LSTM
  • 深层、双向RNN
  • Seq2Seq

5、注意力机制

  • Seq2Seq + attention
  • Transformer
  • BERT

6、性能

  • CPU 、GPU 、ASIC
  • 使用(多)GPU
  • 分布式

7、应用

  • 房价预测
  • 图片分类
  • 物体检测
  • 语义分割
  • BERT
  • 样式迁移
  • 语言模型
  • 机器翻译
  • 自然语言推理





未讲到的应用和模型


课程总结和进阶学习 P1 - 09:34


1、计算机视觉

  • 人脸识别
  • 体态识别
  • 无人驾驶
  • 图片合成
  • 超分辨率
  • 医学图片

2、自然语言处理

  • 文本分类
  • 文本合成
  • 文本摘要
  • 实体命名识别

3、图神经网络

  • 如何对给定的图的输入做神经网络

4、语音识别

  • 也是时序数据
  • 虽然是一个单通道,但是可以通过频谱变成多通道

5、时序识别

  • 比如股票预测

6、玩游戏

  • Reinforcement Learning

7、代码生成

  • GPT3
  • 通过注释来生成代码

8、音乐

9、推荐系统





斯坦福 2021 秋季新课:实用机器学习

课程地址

课程主页:https://c.d2l.ai/stanford-cs329p/

B站:https://space.bilibili.com/1567748478/channel/seriesdetail?sid=358496


和《动手学深度学习》课程的联系:互补

  • 《动手学深度学习》主要讲模型
  • 《实用机器学习》主要讲机器学习落地的技术


课程大纲


课程总结和进阶学习 P1 - 13:10


1、基础建模

  • 数据收集
  • 数据处理
  • 模型验证
  • 模型融合

2、不正确的假设

  • Covariate/concept/lable 偏移
  • IID 以外的数据(时序、图)

3、性能调优

  • AutoML
  • 模型蒸馏
  • 多模块数据

4、模型之外

  • 模型部署
  • 公平





进阶建议(如何学习新东西)

知识积累

1、可以看朋友圈分享,但更要主动获取信息、建立知识库

  • 如果只是看了很多的点,就和机器学习记住每个数据一样,没有泛化性
  • 泛化性来自于自己建立知识库,将知识点连成线,建立一个完整的自己对于整个领域的认识
  • 可以不用知道每个具体的点是如何实现的细节,但是要对整个领域有大概的认识,清楚内在的联系

2、学会读论文

  • 通过朋友圈和知乎可能会相对容易一点,但是读论文才是核心
  • 经典论文需要读懂每一句话
  • 结合代码来了解细节(例如:https://paperswithcode.com/)
  • 可以看 openreview 上的评论

3、对读过的论文做整理


实践

1、可以参加竞赛练手,但注意竞赛跟研究和工业界落地都不一样,不要被竞赛带偏了

  • 竞赛:调最好的参、模型融合(可以用最复杂的模型调到最好)
  • 研究:新的模型、调还不错的参(研究更加强调模型的创新)
  • 工业界:将应用表达成机器学习问题、收集数据(对模型的关注相对来讲不是很高)

2、多研究开源代码,跟开发者多交流,积极贡献

  • 可以从修文档开始
  • 多和其他人交流是最简单的获得一手资料的方式





感谢





Q&A

  • 1、请问深度学习算法提取的特征一定比人工提取的特征好用吗?
  • 
    QA P2 - 00:00
    
  • 2、请问读研方向是医学图像处理的话,找工作是医学相关的更好,还是主要针对图像处理学习呢?
  • 
    QA P2 - 00:18
    
  • 3、请问我们在学习过程中,需要看懂代码的每一句话,理解代码思路,还是会用就可以了?
  • 
    QA P2 - 01:04
    
  • 4、请问在使用 GPU 训练模型时,出现 Excepted all tensors to be on the same device,but found at least two devices,cuda:0 and cpu!,但是我找不到哪些数据在 GPU 上,这类情况应该如何 debug?
  • 
    QA P2 - 01:31
    
  • 5、请问老师基于迁移学习做分类和目标检测,这两个您更推荐哪个方向呢?
  • 
    QA P2 - 01:48
    
  • 6、请问老师平时要在亚马逊工作,业余还要讲课,还要带娃,请问是如何进行时间管理的?
  • 
    QA P2 - 02:13
    
  • 7、老师能说下最近 nature 上的 swarmlearning 吗?您觉得这个计算范式前景怎么样?
  • 
    QA P2 - 03:15
    
  • 8、请问想要把会用的代码改得更好,是不是最好明白数学原理?
  • 
    QA P2 - 03:24
    
  • 9、老师您好,机器学习现在大多数都是应用在图像上,图像上也有很明显的特征,但是怎么应用到数据库数据中呢?数据库数据特征怎么提取放在机器学习中?
  • 
    QA P2 - 03:55
    





----end----

其他参考

1、《动手学深度学习》课程 PPT ,https://courses.d2l.ai/zh-v2/assets/pdfs/part-4_3.pdf

【完结】73 - 课程总结和进阶学习【动手学深度学习v2】的评论 (共 条)

分享到微博请遵守国家法律