小Dream哥 ChatGPT原理与实战

ChatGPT简介

ChatGPT技术路径介绍

GPT系列模型与GPT1模型和论文详解

GPT2模型与论文讲解

GPT3模型及论文讲解

GPT模型整体结构和模型输入

自注意力机制介绍

Masked-self-attention

multi-head-self-attention和FFN

GPT模型参数量计算逻辑详解

分布式训练简介与数据并行原理详解

模型并行中的Embedding层并行原理及代码详解

张量并行-矩阵乘法并行原理及代码讲解

分布式计算原理讲解张量并行之交叉熵层并行原理及代码讲解

OFFLOAD和ZERO理论讲解

模型并行之流水线并行和显存占用分析

Zero论文讲解

prompt-learning详解

有监督微调详解

lora-fine实战之lora理论详解

lora-finetune-chatglm代码详解

chatGLM-lora训练过程演示

chatGLM-算数能力推理效果演示

大模型应用概述

思维链概念详解

大模型应用框架介绍