【授权】李宏毅2023春机器学习课程

ChatGPT原理

## 常见误解

1. chatgpt用罐头回应，从开发者准备好的罐头回应。
2. chatgpt的答案是网络搜索的结果

为什么Chatgpt会给出错误答案：ChatGPT is not connected to internet.

## ChatGPT真正做的事情-文字接龙

如何做到历史对话记录：因为输入包含了以前的对话历史

要做到这些，函数function会非常复杂。

函数function和参数是什么？

ChatGPT里有1700亿个以上的参数。

这个函数function是如何找出来的

通过大量网络资料与人类老师的教导训练出来的。

如下图所示训练与测试的差异：

## chatGPT的学习过程: 预训练、监督式学习、增强式学习

## ChatGPT带来的研究问题

1. 如何精准提出需求，系统化的方法？－提示词
2. 如何更正错误？ChatGPT的预训练资料目前只到2021年——Neural Editing
3. 怎么用模型侦测一段文字是不是AI生成的
4. 知道某些秘密，一不小心泄露秘密了呢？－Machine　ｕｎLearning　机器反学习