【PPO × Family】第三课：表征多模态观察空间

第三节课笔记

hh跟着这个系列课程学了一段时间，感觉挺实用的。看下来第三节课内容以下这张截图就可以说明了：

另外听课过程中老师提到了很多链接，我也去扒了一下，大家有需要自取呀！

13:30 Scatter实现 以及完整示例：

 https://github.com/rusty1s/pytorch_scatter

https://opendilab.github.io/PPOxFamily/

15:52 PPO+软体机器人的完整视频样例与相应的训练日志：

https://github.com/opendilab/PPOxFamily/issues/8

19:01 关于 CAM 可视化工具相关的更多的材料，请参考：

https://github.com/frgfm/torch-cam

25:11 巧用 Env Wrapper 包装你的环境

 https://opendilab.github.io/PPOxFamily/

30:46 DI-sheep 详细的网络结构设计和代码：

https://github.com/opendilab/DI-sheep

34:53 PPO+羊了个羊的演示细节和视频demo请参考：

实验细节：https://github.com/opendilab/PPOxFamily/issues/8

科普文章：https://mp.weixin.qq.com/s/4Z3WtkcWRp6x4x60RVELfQ

36:02 一些辅助方法的优劣势对比，可以参考：

SSL：https://openreview.net/forum?id=fVslVNBfjd8

观察空间表征学习补充材料：https://github.com/opendilab/PPOxFamily/blob/main/chapter3_obs/chapter3_supp_representation.pdf

38:56 完整的 PPG 算法原理讲解：

 https://arxiv.org/pdf/2009.04416.pdf

https://github.com/opendilab/PPOxFamily/blob/main/chapter3_obs/chapter3_supp_ppg.pdf

41:23 神经网络训练中一系列操作指引：

Autograd: https://pytorch.org/tutorials/beginner/introyt/autogradyt_tutorial.html

完整代码示例：https://opendilab.github.io/PPOxFamily/