【李宏毅2023春机器学习课程】【生成式AI】Finetuning vs. Prompting：對於大型語言模

视频from： https://www.bilibili.com/video/BV1TD4y137mP?p=32&;vd_source=21cce77bb69d40a81e0d37999f2da0c2

课程主页： https://speech.ee.ntu.edu.tw/~hylee/ml/2023-spring.php

直接问 chatgpt 翻译的 prompt是什么

多数情况下，chatgpt比商业的翻译系统 差

另外一篇文章，用了 更新的 chatgpt【很接近 best了~】

成为通才 的好处！

对于大型语言模型的期待：专才 or 通才 ？

成为专才 【加外挂 和 微调参数】

Adapter

各式各样的 Adapter

一个Adapter 插在哪里，取决于 你的应用，要调的！

Adapter的优势： 只存Adapter

https://www.bilibili.com/video/BV1TD4y137mP?p=34&;vd_source=21cce77bb69d40a81e0d37999f2da0c2

成为通才

“21年就有录影，还以为要20年后才能达到目标，没想到一年后就干成了，还取名叫 GPT的野望~”

In-context Learning

有一项研究，怀疑真的能学会吗？ 故意给错的例子

实验结果：给 错误的范例，准确率并没有下降很多（看来 机器没有真学？）

给奇怪标注

结论：语言模型本来就会做，需要 你指出做什么任务【例子 给多了，其实帮助不大，不需要太多例子】

另外论文的观点：机器 还是 学习的

最新的研究：【可能 大的模型 才能 学到样例，过去都是小的模型，所以无法 从样例中学习】

直接 分类？

Instruction Tuning

结果

https://www.bilibili.com/video/BV1TD4y137mP?p=34&;spm_id_from=pageDriver&vd_source=21cce77bb69d40a81e0d37999f2da0c2

Chain of Thought（CoT） Prompting

突然 机器 就 起飞了

加多一句话：Let‘s think step by step!， 机器 就会做推理了！

Self-consistency

问 chapgpt

拆解问题

训练资料 要有 范例

用机器 来找 Prompt 【消灭 Prompt 工程师】

更狂的例子：让 机器 找 Prompt

奇怪的术语， 暴涨 正确率

更多：参考tutorial