【渐构】万字科普GPT4为何会颠覆现有工作流；为何你要关注微软Copilot、文

万字科普ChatGPT-4为何会颠覆人类社会-渐构 Modevol 2023年3月15日

• 工作原理：ChatGPT是如何回答问题的？
• 实质功能：「单字接龙」。具体来说就是：给它「任意长的上文」，它会用「自己的模型」去生成「下一个字」。
• 如何生成长文：把它自己生成的「下一个字」和「之前的上文」组合成「新的上文」，再让它以此生成「下一个字」。不断重复，就可以生成「任意长的下文」了。该过程也叫“自回归生成”。
• 怎么回答问题：仍然是续写。其实仅靠单字接龙就能回答问题。因为提问和回答也都是文字，可以将二者组合成一个「问答范例（学习材料）」让ChatGPT做单字接龙。
• 与搜索引擎的区别：「生成模型」与「搜索引擎」非常不同，搜索引擎无法给出「没被数据库记忆的信息」，但生成语言模型可以，还能创造不存在的文本，这正是它的长板；缺点是可能混淆记忆，无法直接查看和更新所学，且高度依赖学习材料。
• 搜索引擎不会混淆记忆，但它有可能会，然后捏造出一些事实。（短板）
• 不像数据库，模型是一个黑箱，我们无法对模型直接进行增删改查，所以难免会带来安全风险，并且更新效率低。（短板）
• 以上为GTP的基础原理，ChatGPT在此基础上的增加了三个训练阶段。
• 预训练：让模型看到尽可能多、尽可能丰富的「语言范例（学习材料）」，使其有更多机会建构出能举一反三的语言规律，来应对无数「从未见过的语言」。
• 多少学习材料才够呢？GPT-1时是5GB，1.17亿参数；GPT-2时是40GB，15亿参数；GPT-3时是是45TB，1700亿参数，这时才涌现出了惊人的能力。
• 这个时候GPT已经拥有了海量的知识，回答形式和内容不受约束，我们很难只会它。教它「什么该说，什么不该说」。
• 模板规范：给与GPT回答问题的规范（Prompt），比如给他提供这种「“提问-回答-原因”的对话模板」。
• 当然不仅仅是可以教GPT回答问题与聊天，还可以包括「识别态度」「归纳思想」「拆分结构」「仿写风格」「润色」「洗稿」和「比对」等等。
• 因此只要这个问题可以写成文字，给出一定案例后，之后都可以让GPT来完成。这项能力十分神奇，因为看起来 ChatGPT 仿佛掌握了「如何通过例子来学习」的能力，大家把这种现象称为“语境内学习（In-context Learning）”，目前对这种能力的产生原因还没有定论。
• 但“模板规范”的训练阶段也存在不足，那就是：可能导致 ChatGPT 的回答过于模板化，限制其创造力。
• 创意引导：让ChatGPT根据「人类对它生成答案的好坏评分」来调节模型，以引导它生成人类认可的创意回答。
• 为什么会有惊人的能力？为什么不只是聊天机器人：当单字接龙模型的规模达到一定程度后，就会涌现出「“理解”指令」「“理解”例子」「思维链」的能力，让ChatGPT似乎拥有了人类才能拥有的学习、理解与思考的能力
• 未来的影响：他将给社会带来什么样的冲击？
• ChatGPT 的革命意义是向人们展示了「大语言模型的可行性」，相当于《流浪地球2》中的试点火实验。它所展现的一些能力已经吸引全球大力开发和改进大语言模型。大语言模型将因此变得更好用、更快速、更便宜，相关产品也会如雨后春笋般普及。
• 首先要讨论的就是「大语言模型能为人类做什么」，才有依据判断「它对社会的影响」。
• 精通语法：校对拼写、检查语法、转换句式、翻译外语，对语言组织规则的遵守已经超越了绝大多数人。
• 引出世界知识：真正的价值在于，在精通语言的基础上，还能存储人类从古至今积累的「世界知识」。合理地使用大语言模型，就可以让一个普通人，快捷准确地触及各行各业的平均知识。
• 帮助处理繁重的语言处理工作：比如医疗领域，企业中用NLP技术可以节约大量的成本。
• 「人类的理解」和「语言模型的“理解”」并不相同。语言模型的“理解”是指：能够「明确」接收到了「哪些语言符号」，并能处理「不同语言符号之间的关系」，但却不能将「语言符号」和「指代对象」进行关联，没有与现实对应。
• 人机合作：语言模型不理解符号的指代，其实不影响我们使用它，毕竟我们是把它当成工具，又不是把它作为独立改造世界的个体。因此只需要得到语言模型的回答，然后由人类来解读和实践即可。
• 社会影响：由于大语言模型所能改善的是：群体协作过程中「创造、继承、应用知识」时的「语言处理效率」。所以随着技术的发展，大语言模型对社会的影响范围将和当初「电脑的影响范围」一样，即「全社会」。
• 其中对教育模式的影响将更加强烈，但在飞速发展的今天，市场变化越来越快，工具更新换代频繁，这种「传授既有知识」的培养模式越来越难适应时代，因为一个非常现实的问题正摆在前面：5 年后，如果学校传授的既有知识，任何人靠大语言模型就能实现，那该怎么办？
• 另外也将带来网络安全和社会安全的新挑战
• 如何应对：我们如何维持未来的竞争力
• 要克服抵触心，善于利用新工具，做好终身学习的准备，因为还会不断用新东西出来；增强学习与创造能力，因为过去那种「学个知识，干一辈子」的时代已经逐渐远去。经历了多次科技革命的我们也正处在一个「加速时期」，新工具的出现速度会越来越快，取代现象也会越来越频繁。只有学习能力才是应对未来的根本。

------------------------------------

该笔记已整合入个人知识体系，详见 [ChatGPTYJango](http://wangc.site/cbrain/share?nodeid=71e4c6f1745dab98)