【基德】史上最啰嗦的Chatgpt介绍…它想取代谷歌！
ChatGPT和OpenAI公司介绍
ChatGPT介绍
官方说明
ChatGPT 是在GPT-3.5 系列中的一个模型上进行微调而成，它以对话方式进行交互（优化对话语言模型）。对话格式使 ChatGPT 可以回答后续问题、承认错误、挑战不正确的前提并拒绝不适当的请求。ChatGPT 是InstructGPT的同级模型，它经过训练可以按照提示中的说明进行操作并提供详细的响应。
我们使用与 InstructGPT 相同的方法，使用来自人类反馈的强化学习 (RLHF) 来训练该模型，但数据收集设置略有不同。我们使用监督微调训练了一个初始模型：训练者提供对话样本，他们在对话中扮演双方，即用户和 AI 助手。训练者还可以访问模型编写的建议，以帮助他们撰写回复。
为了创建强化学习的奖励模型，需要收集比较数据，其中包含两个或多个按质量排序的模型响应。为此，我们随机选择了一条模型编写的信息，对替代结果进行抽样，并让训练者对它们进行排名。通过使用上述的奖励模型和用近端策略优化来微调模型，并进行了几次迭代，最后得到了该模型。
生成式AI的前世今生
机器学习 -> CNN、RNN -> Transformer（2017）-> GPT-1（2018） -> GPT-2（2019） -> GPT-3（2020）-> InstructGPT（2022） -> ChatGPT（2022）
- Transformer 的核心是在数学上计算输入元素之间的关联（Attention），基于自我注意力机制来并行计算，实现自我监督学习。通过这种模式成功的消除了训练数据集的标注需求！模型包括三个主要部分：输入层、中间层和输出层。通常，输入层会对输入序列进行编码，中间层通过注意力机制来组合信息，而输出层则根据组合后的信息生成预测结果。
- GPT-1：参数量达1亿，是一种语言模型，由OpenAI训练，用于预测下一个单词，使其能够生成自然语言文本。它是基于Transformer模型，拥有大量训练数据和计算能力，能够生成高质量的文本。算得上一个还算不错的语言理解工具而非对话式AI。
- GPT-2：参数量达15亿，学习目标则使用无监督预训练模型做有监督任务。在性能方面，除了理解能力外，GPT-2在生成方面第一次表现出了强大的天赋：阅读摘要、聊天、续写、编故事，甚至生成假新闻、钓鱼邮件或在网上进行角色扮演通通不在话下。
- GPT-3：参数量达1750亿，作为一个无监督模型（自监督模型），几乎可以完成自然语言处理的绝大部分任务，例如面向问题的搜索、阅读理解、语义推断、机器翻译、文章生成和自动问答等等。一个无监督模型功能多效果好，似乎让人们看到了通用人工智能的希望。
- InstructGPT：是一个更真实、更无害，更好地遵循用户意图的语言模型，经过微调的新版本GPT-3，可以将不真实的、有害的和有偏差的输出最小化。
- ChatGPT：每走一步，都会观察人类的反馈，重点是能更好的分析人类的意图。
Transformer 的三个发展方向
- BERT（Google）：只使用编码器
- T5（Google） ：使用编码器和解码器
- GPT（OpenAI） ：只使用用解码器
思考：AI和大模型发展趋势
- 强化人类意图反馈系统
- 大幅提升了意图判别的一致性
- 能主动的承担错误和无法回答的问题
- 敢于质疑不正确的前提
- 大模型的流行，训练和迭代的成本必然成为普通人可望而不可及的一种存在。
普通人如何不被 OpenAI 取代？
在某些方面强于普通人的，特别是对于重复性智力劳动，如重复性写套话、写代码、画图。
那么怎么不被取代？还是需多学习、多主动思考、多实践、看更多书，做更多有挑战的事情，在认知上避免被取代的关键是不断学习和提高自己的能力，并努力适应新的环境和挑战。
- 经验能力强于普通人
ChatGPT，这个能力很适合我这种不太会说 套话的人，在回答一些偏知乎类问题、入学文档、运营方法等也不在话下，此外对于中文的理解有些突破我的想法。
- 编程能力强于普通人
ChatGPT 除去内容能力外，对于简单的「编程」能力其实也不在话下，比如说如下这个很常用的提取 URL 用 JS 来实现的题目，比如说我让他画一个猫
- 写文章能力强于普通人
OpenAI 除外简单的编程实现，还发现了一个写文章的能力，很适合写所谓的「论证文」，不过还是感觉还是有些「正规话术」，但是在某些场合其实还是很吃香的，比如说如下这种类似于活动安排、论证主题、模版申请啥的还是合适的，居然还可以「教你做菜」。
- 理解能力强于普通人
有一些很日常的问题他也能够回答得不错，比如说 Q&A、解释代码的意思、帮你修正错误的英语语法、甚至通过看你的语句帮你生成 SQL 语句。
- 查找即创造能力强于普通人
DALLE2 AI 画画功能让我慢慢意识到，其实这东西是一个「下一代的智能搜索的雏形」，相当于你想要啥，他告诉你，比现在的 google 搜索，更加简单、高效，可以很方便的为后面类似机器人的场景做素材语义来源，期待更加产品化。
关于创意这部分
- 我不觉得AI可以完全替代人类的创造力，尤其是有些人的价值是AI很难替代的，人类总是充满意外
- 很多商用创意可以用AI做，所谓的创意并不是只有独创性最重要，效果也是一个很重要的指标，所以要借鉴
- 现在的AI定位虽然还更像助手，但是确实可以代替挺多遇事没想法的人了，生活里没想法盲从的人挺多的
- 按照创造力的其中一种的本质来说，理论上AI是可以有很不错的创意的。就算现阶段的AI，如果觉得回答不够有创意，也可能是prompt的问题，能找到合适的prompt就能激发出最好的回答
OpenAI公司介绍
OpenAI是什么
OpenAI主要关注的重点是创造AGI（通用人工智能）并确保AGI造福人类。保持合作的意愿，避免竞争。OpenAI会将其研究的内容进行开源分享，让更多的人拥有和使用AI，以将最大限度地造福全人类的方式，发展人工智能。
OpenAI在做什么
三个研究方向分别是:
- 训练生成模型算法，可以理解为深度生成模型
- 从数据中推断算法的算法，即神经图灵机
- 强化学习方法，可以理解为深度增强学习。
OpenAI与微软的合作
- Power Apps：低代码工具，描述需求生成对应的查询
- GitHub Copilot：辅助编程工具，底层为CodeX，用开源代码训练出来的GPT衍生模型，可以根据用户的指令来写代码。
- 未来计划将ChatGPT整合到必应(Bing)搜索引擎和微软设计应用中。目前ChatGPT的模型数据时效性在2021年前，且准确性方面有些低级错误。
OpenAI公司大事表
- 2015 年 12 月，Elon Musk、Sam Altman 和其他投资者宣布成立 OpenAI。总部位于美国加州旧金山，OpenAI 旨在确保通用人工智能造福全人类。
- 2016 年 4 月 27 日，OpenAI 发布了其强化学习研究平台“OpenAI Gym”的公测版。
- 2016 年 12 月 5 日，OpenAI 发布了“Universe”，这是一个软件平台，用于测量和训练人工智能在全球游戏、网站和其他应用程序中的通用智能。
- 2018 年 2 月 21 日，马斯克辞去了董事会席位
- 2019 年，OpenAI 从非营利性转变为“有上限”的营利性。 该公司将股权分配给其员工，并与微软公司合作，后者宣布向该公司投资 10 亿美元。 OpenAI 随后宣布打算对其技术进行商业许可，微软是其首选合作伙伴。
- 2019年7月22日，微软投资OpenAI 10亿美元，双方将携手合作替Azure云端平台服务开发人工智能技术。
- 2020 年 6 月，OpenAI 发布了 GPT-3，这是一种基于互联网上数万亿个单词训练的语言模型。 微软于2020年9月22日取得GPT-3独家授权。
- 2021 年 1 月，OpenAI 推出了 DALL-E。 一年后，他们的最新系统 DALL·E 2 以 4 倍的分辨率生成更逼真、更准确的图像。
- 2022年11月30日，OpenAI发布了一个名为ChatGPT的自然语言生成式模型，它以对话方式进行交互。
- 2023年1月5日，OpenAI正在谈判以收购要约的形式出售现有股份，交易对该公司的估值达到290亿美元左右，使其在没有什么收入的情况下成为账面上最值钱的美国初创公司之一。
- 2023年1月10日，微软正考虑对OpenAI进行100亿美元的投资；OpenAI是爆红的ChatGPT聊天机器人的创造者。微软此前已经在2019年向OpenAI投资了10亿美元，目前正尝试在其必应(Bing)搜索引擎和微软设计应用中执行这款人工智能软件。
- 2023年2月1日，OpenAI公司宣布，新的订阅服务名为ChatGPT Plus，月费为20美元。订阅包括在高峰使用时间访问聊天机器人。新的订阅计划将在未来几周内首先在美国推出，然后扩展到其他国家。
Google的动作
ChatGPT推出2个月用户破亿，成为了史上用户增长最快的应用。
Google怕ChatGPT侵蚀Google搜索引擎的占有率，决定推出Bard。
Bard：基于大模型LaMDA，现在还只提供给合作者测试，然后全员内部试用，然后再放出来。
下一代搜索引擎雏形：
- 利用一些积累的模型，要把多模态对话做起来。
- Google一些模型积累：LaMDA、PaLM、Imagen、MusicLM
