这期课程是关于近期大火的LLM —— Full Stack LLM Bootcamp。被马斯克称为“地表最强AI科学家”的Andrej Karpathy 发推转发，赞其是LLM领域不可多得的高质量课程……

顺应近期大模型领域热度的持续释放，FSDL推出了Full Stack LLM Bootcamp《大语言模型应用开发全栈指南》课程，介绍了构建大语言模型产品的最佳实践、工具及方法，内容从提示工程到产品设计实现了全栈式覆盖，还有当前LLM领域最前沿的技术分享。

Full Stack Deep Learning （FSDL）是一个学习社区，由加州大学伯克利分校博士校友组织，热衷和大家分享如何在现实世界中使用深度神经网络、机器学习产品构建的最佳实践。自2018年以来，FSDL已在多个顶尖大学开设系列实战训练营和官方学期课程。

课程视频

中英双语字幕由矩池云翻译制作，以便大家更好学习体验。点击页面视频前往观看完整课程视频。

课程主题

随着LLM的兴起，构建AI产品的方式已悄然改变——

在 LLM（大型语言模型）之前，要把一个想法变成产品，从零开始的模型训练过程会遇到各种问题，扩展部署阶段也会遇到瓶颈。

而现在，基于预训练 LLM 和 API 的最小可行产品（MVP）可以让你实现在一个小时内完成配置并为用户提供服务。

围绕 LLM 已经出现了一个集技术、工具和工具供应商的全新生态系统。即使是机器学习开发者也在快速适应、调整定位，尝试从LLM生态中找到对自己最行之有效的技术和工具。

FSDL的该系列课程共11讲，基本覆盖了构建大语言模型产品的各个方面。前8讲是LLM的实践、工具及方法，后3讲是来自LLM头部企业的核心成员谈各自经验及近期工作重心：

1. 学会”魔法咒语“：提示工程和其他魔法

2. LLM运维：生产阶段的部署与学习

3. 优化语言用户界面

4. 增强语言模型

5. 快速发布LLM应用

6. 下一个发展方向

7. LLM技术基础

8. askFSDL项目演示

9. Reza Shabani介绍Replit训练大语言模型的经验

10. Peter Welinder谈OpenAI ChatGPT及近期工作（Agent方向）

11. Harrison Chase（LangChain）聊近期火热的Agent

学习必备：Python编程经验；加分项：机器学习/前端/后端经验

课程主讲

Charles Frye

加州大学伯克利分校理论神经科学博士，研究神经网络近10年。相继在Weights & Biases、 Gantry等公司研究开发AI/ML工具 。

Josh Tobin

加州大学伯克利分校人工智能博士，曾OpenAI任职研究科学家，Gantry联合创始人兼CEO，为AI产品研发工具。

Sergey Karayev

加州大学伯克利分校人工智能博士，致力于开发人工智能产品，Gradescope、Volition联合创始人。

相关学习资料：

快速发布LLM应用方面：

Robert Huben, “How does GPT-3 spend its 175B parameters?” - https://aizi.substack.com/p/how-does-gpt-3-spend-its-175b-parameters

Anthropic, “In-context Learning and Induction Heads” 深入探索了大语言模型 in-context learning 能力的来源 - https://transformer-circuits.pub/2022/in-context-learning-and-induction-heads/index.html

最近的 RedPajama 项目中尝试“复现”了LLaMA的训练数据集 - https://together.ai/blog/redpajama

Yao Fu, “How does GPT Obtain its Ability? Tracing Emergent Abilities of Language Models to their Sources” 为何要在训练中包括代码数据， GPT 模型家族谱系图， alignment tax 等内容 - https://yaofu.notion.site/How-does-GPT-Obtain-its-Ability-Tracing-Emergent-Abilities-of-Language-Models-to-their-Sources-b9a57ac0fcf74f30a1ab9e3e36fa1dc1

Open Assistant数据集 https://huggingface.co/datasets/OpenAssistant/oasst1

Anthropic: Constitutional AI https://www.anthropic.com/index/claudes-constitution

OPT优化的血泪史 https://arxiv.org/pdf/2205.01068.pdf

模型inference优化的手段 https://lilianweng.github.io/posts/2023-01-10-inference-optimization/

Prompt提示工程方面：

Dohan et al., “Language model cascades” 利用概率编程语言，重复prompt或调整单个或多个互相关联的语言模型，来进行复杂的多步推理 - https://arxiv.org/abs/2207.10342

Anthropic, “The Capacity for Moral Self-Correction in Large Language Models” 大型语言模型的“道德自我修正”能力 - https://arxiv.org/abs/2302.07459 

Mishra et al., “Reframing Instructional Prompts to GPTk's Language” GPTk语言教学提示重构 - https://arxiv.org/pdf/2109.07830.pdf  

Ouyang et al., “Training language models to follow instructions with human feedback” 训练语言模型以遵循带有人类反馈的指令 - https://arxiv.org/abs/2203.02155

Reynolds et al., “Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigm” - https://arxiv.org/abs/2102.07350

Park et al., “Generative Agents: Interactive Simulacra of Human Behavior” 模仿人类可信行为的生成式智能体可以增强沉浸式环境和仿真环境中交互式应用，以实现人机交流及原型工具 - https://arxiv.org/abs/2304.03442

Jacob Andreas, “Language Models as Agent Models” 尤其关注角色模拟和智能体的概念 - https://arxiv.org/abs/2212.01681

B.Brown, “Language models are few-shot learners” - https://arxiv.org/abs/2005.14165

Min et al., “Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?” - https://arxiv.org/abs/2202.12837

Wei et al., “Larger language models do in-context learning differently” - https://arxiv.org/abs/2303.03846

Khot et al., “Decomposed Prompting: A Modular Approach for Solving Complex Tasks” 拆解复杂任务 - https://arxiv.org/abs/2210.02406

Press et al., “Measuring and Narrowing the Compositionality Gap in Language Models” 自动化拆解任务 - https://arxiv.org/abs/2210.03350

Yao et al., “ReAct: Synergizing Reasoning and Acting in Language Models” ReAct方法在大型语言模型中集成了推理能力和行动能力。这种集成通过提供推理和行动计划之间的协同作用，使模型能够更好地处理复杂的任务 - https://arxiv.org/abs/2210.03629

Wei et al., “Chain-of-Thought Prompting Elicits Reasoning in Large Language Models” - https://arxiv.org/abs/2201.11903

Kojima et al., “Large Language Models are Zero-Shot Reasoners” 引导模型通过一步一步的推理方式去解决复杂的多步推理 - https://arxiv.org/abs/2205.11916

Kim et al., “Language Models can Solve Computer Tasks” 让模型不断自我审视修正答案 - https://arxiv.org/abs/2303.17491

Wang et al., “Self-Consistency Improves Chain of Thought Reasoning in Language Models” 通过略微不同的 prompt 以及稍高一点的 temperature 设定，让模型多生成几个回答，最后投票来选择最终的回答 - https://arxiv.org/abs/2203.11171

Suzgun et al., “Challenging BIG-Bench Tasks and Whether Chain-of-Thought Can Solve Them” -  https://arxiv.org/abs/2210.09261

OpenAI Cookbook - https://github.com/openai/openai-cookbook

LangChain AI Handbook - https://www.pinecone.io/learn/series/langchain/

Learn Prompting - https://learnprompting.org/docs/intro

Prompt Engineering Guide - https://github.com/dair-ai/Prompt-Engineering-Guide

Lilian Weng’s Prompt Engineering - https://lilianweng.github.io/posts/2023-03-15-prompt-engineering/

增强模型方面:

Embedding到底是什么？What is an embedding, anyways - https://simplicityissota.substack.com/p/what-is-an-embedding-anyways

选择embedding模型时，可参考mteb的leaderboard - https://huggingface.co/spaces/mteb/leaderboard

George Pipis, “A High-Level Introduction To Word Embeddings” - https://predictivehacks.com/a-high-level-introduction-to-word-embeddings/

OpenAI embeddings——好快省。Reimers et al., “Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks” - https://arxiv.org/abs/1908.10084 

SOTA: Instructor. Su et al., “One embedder, Any Task: Instruction-Finetuned Text Embeddings” - https://arxiv.org/abs/2212.09741

Gao et al., “Precise Zero-Shot Dense Retrieval without Relevance Labels” 提出Hypothetical Document Embeddings (HyDE)方法 - https://arxiv.org/abs/2212.10496 

Sumit Kumar, “Zero and Few Shot Text Retrieval and Ranking Using Large Language Models” -  https://blog.reachsumit.com/posts/2023/03/llm-for-text-ranking/

相似性搜索：Ethan Rosenthal, “Do you actually need a vector database?” - www.ethanrosenthal.com/2023/04/10/nn-vs-ann/

Pinecone, “Nearest Neighbor Indexes for Similarity Search” - www.pinecone.io/learn/vector-indexes/

Copilot Internals, GitHub Copilot 如何通过检索来增强上下文 - https://thakkarparth007.github.io/copilot-explorer/posts/copilot-internals