ChatGPT和OpenAI公司介绍

ChatGPT介绍

官方说明

ChatGPT 是在GPT-3.5 系列中的一个模型上进行微调而成，它以对话方式进行交互（优化对话语言模型）。对话格式使 ChatGPT 可以回答后续问题、承认错误、挑战不正确的前提并拒绝不适当的请求。ChatGPT 是InstructGPT的同级模型，它经过训练可以按照提示中的说明进行操作并提供详细的响应。

我们使用与 InstructGPT 相同的方法，使用来自人类反馈的强化学习 (RLHF) 来训练该模型，但数据收集设置略有不同。我们使用监督微调训练了一个初始模型：训练者提供对话样本，他们在对话中扮演双方，即用户和 AI 助手。训练者还可以访问模型编写的建议，以帮助他们撰写回复。

为了创建强化学习的奖励模型，需要收集比较数据，其中包含两个或多个按质量排序的模型响应。为此，我们随机选择了一条模型编写的信息，对替代结果进行抽样，并让训练者对它们进行排名。通过使用上述的奖励模型和用近端策略优化来微调模型，并进行了几次迭代，最后得到了该模型。

机器学习 -> CNN、RNN -> Transformer（2017）-> GPT-1（2018） -> GPT-2（2019） -> GPT-3（2020）-> InstructGPT（2022） -> ChatGPT（2022）

• Transformer 的核心是在数学上计算输入元素之间的关联（Attention），基于自我注意力机制来并行计算，实现自我监督学习。通过这种模式成功的消除了训练数据集的标注需求！模型包括三个主要部分：输入层、中间层和输出层。通常，输入层会对输入序列进行编码，中间层通过注意力机制来组合信息，而输出层则根据组合后的信息生成预测结果。
• GPT-1：参数量达1亿，是一种语言模型，由OpenAI训练，用于预测下一个单词，使其能够生成自然语言文本。它是基于Transformer模型，拥有大量训练数据和计算能力，能够生成高质量的文本。算得上一个还算不错的语言理解工具而非对话式AI。
• GPT-2：参数量达15亿，学习目标则使用无监督预训练模型做有监督任务。在性能方面，除了理解能力外，GPT-2在生成方面第一次表现出了强大的天赋：阅读摘要、聊天、续写、编故事，甚至生成假新闻、钓鱼邮件或在网上进行角色扮演通通不在话下。
• GPT-3：参数量达1750亿，作为一个无监督模型（自监督模型），几乎可以完成自然语言处理的绝大部分任务，例如面向问题的搜索、阅读理解、语义推断、机器翻译、文章生成和自动问答等等。一个无监督模型功能多效果好，似乎让人们看到了通用人工智能的希望。
• InstructGPT：是一个更真实、更无害，更好地遵循用户意图的语言模型，经过微调的新版本GPT-3，可以将不真实的、有害的和有偏差的输出最小化。
• ChatGPT：每走一步，都会观察人类的反馈，重点是能更好的分析人类的意图。

Transformer 的三个发展方向

• BERT（Google）：只使用编码器
• T5（Google） ：使用编码器和解码器
• GPT（OpenAI） ：只使用用解码器

思考：AI和大模型发展趋势

• 强化人类意图反馈系统
• 大幅提升了意图判别的一致性
• 能主动的承担错误和无法回答的问题
• 敢于质疑不正确的前提
• 大模型的流行，训练和迭代的成本必然成为普通人可望而不可及的一种存在。

普通人如何不被 OpenAI 取代？

在某些方面强于普通人的，特别是对于重复性智力劳动，如重复性写套话、写代码、画图。客服工作可以被代替

那么怎么不被取代？还是需多学习、多主动思考、多实践、看更多书，做更多有挑战的事情，在认知上避免被取代的关键是不断学习和提高自己的能力，并努力适应新的环境和挑战。

• 经验能力强于普通人

ChatGPT，这个能力很适合我这种不太会说 套话的人，在回答一些偏知乎类问题、入学文档、运营方法等也不在话下，此外对于中文的理解有些突破我的想法。

• 编程能力强于普通人

ChatGPT 除去内容能力外，对于简单的「编程」能力其实也不在话下，比如说如下这个很常用的提取 URL 用 JS 来实现的题目，比如说我让他画一个猫

• 写文章能力强于普通人

OpenAI 除外简单的编程实现，还发现了一个写文章的能力，很适合写所谓的「论证文」，不过还是感觉还是有些「正规话术」，但是在某些场合其实还是很吃香的，比如说如下这种类似于活动安排、论证主题、模版申请啥的还是合适的，居然还可以「教你做菜」。

• 理解能力强于普通人

有一些很日常的问题他也能够回答得不错，比如说 Q&A、解释代码的意思、帮你修正错误的英语语法、甚至通过看你的语句帮你生成 SQL 语句。

• 查找即创造能力强于普通人

DALLE2 AI 画画功能让我慢慢意识到，其实这东西是一个「下一代的智能搜索的雏形」，相当于你想要啥，他告诉你，比现在的 google 搜索，更加简单、高效，可以很方便的为后面类似机器人的场景做素材语义来源，期待更加产品化。

关于创意这部分

1. 我不觉得AI可以完全替代人类的创造力，尤其是有些人的价值是AI很难替代的，人类总是充满意外
2. 很多商用创意可以用AI做，所谓的创意并不是只有独创性最重要，效果也是一个很重要的指标，所以要借鉴
3. 现在的AI定位虽然还更像助手，但是确实可以代替挺多遇事没想法的人了，生活里没想法盲从的人挺多的
4. 按照创造力的其中一种的本质来说，理论上AI是可以有很不错的创意的。就算现阶段的AI，如果觉得回答不够有创意，也可能是prompt的问题，能找到合适的prompt就能激发出最好的回答

应用

• 下一代搜索引擎
• 智能的人工助手
• 能对话的人工伴侣
• 虚拟主播、虚拟人
• 让GPT去总结论文内容

ChatGPT商业用例

lensa：使用了Stable Diffution创建魔幻头像，满足一个需求点

copy.AI：人工智能文案写作工具

Perplexity.AI：智能搜索引擎，生成总结式内容

Sitekick.AI：登陆页制作工具

SEO 优化工具：生成多篇包含要推广的信息的文章

缩略图工具：Curvo，通过文字描述生成对应的图片

价值信息获取渠道：创建一个表格包含需要的信息

Ai创建每日报道：运营社交媒体

OpenAI公司介绍

OpenAI是什么

OpenAI主要关注的重点是创造AGI（通用人工智能）并确保AGI造福人类。保持合作的意愿，避免竞争。OpenAI会将其研究的内容进行开源分享，让更多的人拥有和使用AI，以将最大限度地造福全人类的方式，发展人工智能。

OpenAI在做什么

三个研究方向分别是:

• 训练生成模型算法，可以理解为深度生成模型
• 从数据中推断算法的算法，即神经图灵机
• 强化学习方法，可以理解为深度增强学习。

OpenAI与微软的合作

• Power Apps：低代码工具，描述需求生成对应的查询
• GitHub Copilot：辅助编程工具，底层为CodeX，用开源代码训练出来的GPT衍生模型，可以根据用户的指令来写代码。
• 未来计划将ChatGPT整合到必应(Bing)搜索引擎和微软设计应用中。目前ChatGPT的模型数据时效性在2021年前，且准确性方面有些低级错误。

OpenAI公司大事表

• 2015 年 12 月，Elon Musk、Sam Altman 和其他投资者宣布成立 OpenAI。总部位于美国加州旧金山，OpenAI 旨在确保通用人工智能造福全人类。
• 2016 年 4 月 27 日，OpenAI 发布了其强化学习研究平台“OpenAI Gym”的公测版。
• 2016 年 12 月 5 日，OpenAI 发布了“Universe”，这是一个软件平台，用于测量和训练人工智能在全球游戏、网站和其他应用程序中的通用智能。
• 2018 年 2 月 21 日，马斯克辞去了董事会席位
• 2019 年，OpenAI 从非营利性转变为“有上限”的营利性。 该公司将股权分配给其员工，并与微软公司合作，后者宣布向该公司投资 10 亿美元。 OpenAI 随后宣布打算对其技术进行商业许可，微软是其首选合作伙伴。
• 2019年7月22日，微软投资OpenAI 10亿美元，双方将携手合作替Azure云端平台服务开发人工智能技术。
• 2020 年 6 月，OpenAI 发布了 GPT-3，这是一种基于互联网上数万亿个单词训练的语言模型。 微软于2020年9月22日取得GPT-3独家授权。
• 2021 年 1 月，OpenAI 推出了 DALL-E。 一年后，他们的最新系统 DALL·E 2 以 4 倍的分辨率生成更逼真、更准确的图像。
• 2022年11月30日，OpenAI发布了一个名为ChatGPT的自然语言生成式模型，它以对话方式进行交互。
• 2023年1月5日，OpenAI正在谈判以收购要约的形式出售现有股份，交易对该公司的估值达到290亿美元左右，使其在没有什么收入的情况下成为账面上最值钱的美国初创公司之一。
• 2023年1月10日，微软正考虑对OpenAI进行100亿美元的投资；OpenAI是爆红的ChatGPT聊天机器人的创造者。微软此前已经在2019年向OpenAI投资了10亿美元，目前正尝试在其必应(Bing)搜索引擎和微软设计应用中执行这款人工智能软件。
• 2023年2月1日，OpenAI公司宣布，新的订阅服务名为ChatGPT Plus，月费为20美元。订阅包括在高峰使用时间访问聊天机器人。新的订阅计划将在未来几周内首先在美国推出，然后扩展到其他国家。

Google的动作

ChatGPT推出2个月用户破亿，成为了史上用户增长最快的应用。

Google怕ChatGPT侵蚀Google搜索引擎的占有率，决定推出Bard。

Bard：基于大模型LaMDA，现在还只提供给合作者测试，然后全员内部试用，然后再放出来。

下一代搜索引擎雏形：

• 利用一些积累的模型，要把多模态对话做起来。
• Google一些模型积累：LaMDA、PaLM、Imagen、MusicLM

生成式AI的前世今生

一些前世今生

从爆火的 ChatGPT 讲起：它的前世今生和你想了解的一切

顾名思义，ChatGPT就是「聊天 GPT」，以对话的方式交互，用户问问题，它来回答。

ChatGPT 诞生的重要意义恐怕不亚于 Stable Diffusion 等 AI 绘画生成模型的出现。

ChatGPT 是 OpenAI 的 GPT 自然语言生成式模型的最新衍生品。在这之前，坊间已经传闻 OpenAI 的下一代自然语言生成模型 GPT4 即将出现。而且，有一个让人震惊的江湖传言：GPT4 据称通过了图灵测试！

图灵测试：就是隔着一个小黑屋问各种话题，然后是否能分辨小黑屋里回答问题的究竟是机器还是人类。如果无法辨别，就就说明了机器具有和人一样等级的智能，通过了图灵测试。迄今为止，还没有 AI 模型能真正通过图灵测试。

• 2006 年，杰弗里·辛顿（Geoffrey Hinton）在 science 期刊上发表了重要的论文，提出深度信念网络（Deep Belief Networks，DBNs）,「深度学习】正式诞生
• 李飞飞以坚韧不拔的大无畏精神推动完成了一个超大规模的开源图片标注数据库，这就是著名的 ImageNet 项目。在 2009 年正式发布时，ImageNet 有超过 1000 万数据，两万多个类别。
• 2010 年开始，Image Net 大规模视觉识别挑战赛（ILSVCR）开始举办，全世界图像领域深度学习的专家们同台竞技和交流，从此拉开了计算机视觉的新篇章。
• 本文主要是关注自然语言大模型的前世今生的，而 ImageNet 完全是图像领域的工作。但是，ImageNet 的出现和发展给了自然语言 AI 模型研究一个很重要的启发。这就是图像领域深度学习的预训练概念。
• 要调整深度学习神经网络模型里那成千万的参数量，如果训练数据少了，肯定很难调整到位啊。这就好比一个内部齿轮复杂精密的新机器，如果只稍微动一下，内部能牵扯到的齿轮机构说不定都很少，达不到磨合的目的；只有大规模长时间运转起来，内部的齿轮才能全速转起来，互相磨合好。
• 首先呢，自然语言处理的研究里，有个基本概念叫做「语言模型】，大致理解起来也简单，就是想办法打造一个核心函数 P，这个函数通过一个句子里前面的所有单词来计算下一个单词的概率大小。一句话里的单词总是顺序出现的，每个单词都可以通过前面所有单词计算出这么一个概率，把所有这些单词的概率乘起来，总概率数值越大，说明这越像是人说出的话。
• 神经网络语言模型 NNLM：可以用神经网络来打造这样一个语言模型呢？就是说用很多的现成语料，来训练出一个神经网络，然后给这个神经网络模型输入一句话的前面几个词，这个模型就能计算出这句话的下一个单词。「生成式」的逻辑。
• 在 2013 年，AI 研究人员倒腾了一个自然语言处理的处理模型 Word2Vec。顾名思义，「Word2Vec」就是「word to vector，从词到向量」。分析式的 AI，研究人员的目标是把一个单词变成一个数学向量，这个数学量在 NLP 里有个专门的名词，叫做Word Embedding（词嵌入）。
• NNLM 和 Word2Vec 使用了类似的神经网络结构，不过因为目的不同，其训练方法理念是截然不同的。NNLM 作为语言模型，是要看到上文预测下文，所以训练时输入的是句子上文单词；而 Word2Vec 呢？因为它的目标是要找出所有单词之间意义远近的数学关系，所以训练时都使用句子上文和下文作为输入。
• 两种模型训练的思路，在后续发展里变成了自然语言模型的两种路线。本文开头提到的 OpenAI 生成式模型 GPT 系列，坚定的只用上文进行训练，用以追求「纯粹」的生成；而 Google 公司的大语言模型 Bert，则采用了上文和下文一起训练的模式，此乃后话。语言大模型 BERT 的架构和 OpenAI GPT 其实非常像，但有一个简单而本质的区别，在训练阶段，Google BERT 输入上文和下文来训练，OpenAI GPT 系列一直坚持只输入上文训练，而结果就是，Google BERT 在体现 AI 分析能力的各种阅读理解等问题上，都表现上佳；而 OpenAI GPT 术业有专攻，在生成式 AI（比如回答各种问题、创造各种文字内容）一骑绝尘。
• 到 2018 年，图像处理领域里使用大规模通用数据进行「预训练」所取得的效率和成果实在让人羡慕，而在自然语言处理领域里，其实也有一点点「预训练」概念的，这个预训练就是，每个单词的 WordEmbedding 可以反过来初始化神经网络的内部参数。利用 WordEmbedding 只能初始化第一层网络参数，和图像处理领域的预训练能有效初始化大多数网络层级不可同日而语。采用 WordEmbedding 来初始化 NLP 神经网络有那么点效果，但没有期待的那么好。这里面还有一个逻辑上的原因：一个单词有多义词问题。所以企图在一个数学空间里用一个固定的数学向量来表征一个单词的意义，还要求含义相近的单词都聚在一起。在面对多义词的时候，这在逻辑上显然就是矛盾的。
• 「预训练」为什么是一个特别重要的概念？这是因为好的「预训练」可以直接利用大量标准通用的的训练数据（图像领域就是图片，NLP 领域就是语料）,把深度学习模型调整到了 90% 甚至更高程度的可用状态，预训练好的模型最后通过任务相关的少量训练数据，就能微调至完全胜任各种特定任务，这真是一个很美妙的事情。
• 既然一个单词存在多义性，固定的 WordEmbedding 向量无法表达单词的多个含义，那么是不是可以先训练好一个单词的 WordEmbedding，然后在实际使用中，根据句子里的上下文语义去动态调整这个 WordEmbedding 数值，这样经过调整后的「动态 WordEmbedding」更能准确表达单词在上下文的具体含义，同时自然的，解决了多义词的问题。这个根据当前上下文来动态调整 WordEmbedding 的想法就是顶级学术会议 NAACL 2018 年的最佳论文《Deep contextualized wordrepresentation》，这个 NLP 模型命名为 ELMO (Embedding from Language Models, 基于语言模型的词嵌入)。ELMO 引入上下文动态调整单词 WordEmbedding 后，多义词问题就被彻底解决了，而且比预期的解决得还好：利用 ELMO 改进过的多种不同 NLP 任务，性能上都有幅度不同的提升，最高达到了 25%，不愧是最佳论文。此外，ELMO 还有一个贡献，研究人员发现 ELMO 所使用的深度神经网络模型里，不同层次提取到的特征是有差异的。看到这里，读者想起了什么没有？是不是和图像预训练的模型层级特征有点像了？
• ELMO 模型在抽取文字特征方面还比较弱，这是一个技术上的缺陷，意味着这个模型就无法很好完成 NLP 的「预训练」梦想：特征都抽取不好，怎么让网络里每一层具体表达不同逻辑层级的特征呢...而从技术细节上对比，也会发现 ELMO 这种「预训练」方法和图像领域的预训练方法，两者在模式上还有很大差异。
• 提取出文字的特征，就类似图像处理领域的神经网络模型，能很好的提取图像不同逻辑层面的特征。恰就在时间刚好的 2017 年底，Google 研究人员发表了一篇里程碑式的论文，这一篇论文提出的「自我注意力」机制让自然语言处理揭开了崭新的篇章。2017 年 12 月，Google 在顶级机器学习会议 NIPS 上发表了论文《Attention is all you need》，提出在机器翻译上大量使用自注意力（Self Attention）机制来学习文本表示，并把这种机制模型起了个霸气的名字：Transformer。
• 这篇论文一经出世就横扫了整个自然语言处理学术界，Transformer 迅速的取代了深度学习里传统的循环神经网络（RNN）成为了之后的大语言模型的标准配置。Transformer 是目前 NLP 领域里最强的特征提取器，本质上 Transformer 是一个叠加的'「自注意力机制」构成的深度网络。包括我们现在所知道的 OpenAI GPT 系列模型，以及 Google BERT 系列模型，都受到了这篇文章的启发采用了部分 Transformer 的架构，从而取得了突破性的效果。
• 什么是注意力机制？深度学习里的注意力机制其实是一种思想，参考借鉴了人类的注意力思维方式。视觉注意力机制是人类视觉所特有的大脑信号处理机制，我们的眼睛会快速扫描全局图像，得到需要重点关注的区域，就是所谓的注意力焦点后，再进一步对相关区域投入更多的关注。这是人类在长期进化中获得的一种生存机制，极大提高了人类信息处理的效率和准确性。深度学习的注意力机制在概念上参照了人类的视觉注意力机制，核心目标就是从众多信息里选择出对当前任务更重要和关键的信息。具体到 NLP 自然语言处理领域里，在之前，注意力机制一般是指输出句子里某个词和输入句子每个词之间的相似度。这也很好理解，就是去寻求问题（输入）和答案（输出）之间的关系么。但 Google 这篇的特别之处，是明确指出了，我们其实不需要先考虑输入和输出的关系啊，为什么不参考人类理解语言的方式，首先「学习」一句话内部单词之间的关系呢？这就是所谓的「Self Attention 自注意力机制」：指的是输入元素之间，或者输出元素之间的内在联系机制。
• Self Attention 自注意力机制寻找到了一个句子里单词之间的语义特征,在逻辑意义上非常清晰，它让机器去理解人类语言每句话里单词之间的语义关系。除了逻辑上看起来更有道理，Self Attention 自注意力机制还附带了一个很大的好处：因为网络层面抛弃了传统的 RNN（循环神经网络）模型，彻底规避了 RNN 不能很好并行计算的困扰，极大提高了模型并行训练计算的效率。更不用说，Self Attention 自注意力机制只关注部分信息，参数较少，容易训练。
• 基于自我注意力机制的 Transformer 模型的出现是革命性的，最最重要的一点，它能实现自我监督学习。所谓自我监督，就是不需要标注的样本，使用标准的语料或者图像，模型就能学习了。在 Tranformer 出现之前，我们要训练一个深度学习模型，必须使用大规模的标记好的数据集合来训练神经网络。对数据进行标注只能人工进行，金钱和时间成本都相当高。同样对于 AI 绘画至关重要的跨模态模型 CLIP 之所以成功，是因为它使用了互联网已经带文字标记的图片作为训练数据，巧妙规避了超大规模数据标记的难题。
• Transformer 的核心是在数学上计算输入元素之间的关联（Attention），通过这种模式，Transformer 成功的消除了训练数据集的标注需求！这简直是感天动地，我们可以想象一下，从今以后，互联网上或者企业数据库里海量的文本数据都能直接成为大模型的训练数据源了。Transformer 使自我监督学习成为可能，并无需人类标记数据，AI 领域出现了「惊人的进展」。因此，Transformer 正在越来越多的领域中发挥作用。比如用于语言理解的 Google BERT，用于药物发现的 NVIDIA Mega Mol BART 以及 Deep Mind 的 Alpha Fold 2 都要追溯到 Transformer 的突破。不夸张的说，Transformer 是迄今为止发明的最强大的模型之一。斯坦福研究人员在 2021 年 8 月的一篇论文把 tranformer 称之为「基础模型」（Foundation model），认为它推动了 AI 整个范式的转变。
• GPT 全称是「Generative Pre-Training」，直译过来就是「生成式的预训练」。如前文所说，OpenAI 对 GPT 的生成式 AI 有坚定的信念，因此在训练模型的时候，只选用「上文」来训练模型，也就是说，GPT 本质上是一个极致的概率模型，它根据上文提示，来猜测下一个单词应该是什么。这个坚持虽然在一开始 GPT1 和 GPT2 时代让其输出效果稍逊于同期 Google 的语言大模型 BERT，但到了 GPT3 时期，在超级规模网络参数的加持下，GPT 这个 100% 纯粹的生成式 AI 终于迸发出耀眼的光芒，模型输出效果甚至大幅超越了研究人员的预期。尽管没有实证，但笔者很倾向认为 GPT3 的极大成功和 OpenAI 坚定不移的只用上文来训练模型有着某种必然的关系，人的语言沟通也从来都是按顺序表达的，没有谁先把一句话的最后一个词说完才回头考虑上一个词。从这点来看，GPT 系列模型顺应了人类思考的逻辑，最终由量变推动了质变。终于，借助了 Transformer，GPT 这样的超大规模语言模型（GPT-3 有 1750 亿个参数）在不需要标记数据的情况下，可以借助现成的海量标准数据以及超级算力，得到通用的「预训练」版本模型。
• 有了预训练好的模型版本后，GPT 怎么能以适应各种各样的特定任务（或者专业一点，「下游任务」)呢？GPT 论文里给出了简单的改造施工图，附在这里读者们有点直观感性感知即可。总之通过简单的改造操作，GPT 就能很好适应不同的任务。只需要在输入部分调整一下就可以了，非常方便。或许正是因为改造特别方便，OpenAI 的研究人员才能在 GPT3.5 版之上改造出一个问答专用的 ChatGPT。虽然还不是基于大杀器 GPT4.0，但 ChatGPT 所展现出的超强内容生成能力，在这几天已经在大众用户群体里刮起了超级旋风。
• 从 GPT3 到 ChatGPT，进化继续（自然语言的生成式 AI ）
• ChatGPT 是基于 GPT-3.5 模型的魔改。GPT-3.5 和 3.0 的区别呢，首先是和微软合作，在微软的 AzureAI 云服务器上完成了训练；另一个重要的区别是其训练数据集里除了文字，还加入了代码，因此 ChatGPT 现在已经可以写程序,甚至给现成的代码找 bug 了。为什么试用过 ChatGPT 的同学都感觉提升很明显？一个重要的原因是 ChatGPT 引入了一个新的训练方法 RLHF（论文《Training language models to follow instructions with human feedback》，发表于22年3月），简单的说，就是用人类反馈的方式加强训练。其实就是在 GPT3 的大数据预训练之下，再次加强了人类的反馈。前面基于 Transformer 的通用大数据无监督训练模式把自然语言的自动学习做到了某种极致，而这个 RLHF 又重新捡起了「手动档」人类反馈机制，貌似有一点返璞归真的感觉。仿佛是武功高手练至化境之后，又重新拿起了最早的野球拳，一招使出了无与伦比的超越功力:)ChatGPT 的试用版在 OpenAI 的 RLHF 论文发出半年之后刚刚推出
• 确保回答有效性：ChatGPT 还有一个很重要的特点，就是针对输出有效性上做了非常好的调整。使用过 ChatGPT 的同学一定能感觉到，ChatGPT 并非每一个问题都能回答详尽，但它绝对没有胡说八道，ChatGPT 的回答和真实世界的情况是相当一致的。做到这点很不容易，也是 ChatGPT 和之前容易乱说一气的问答 AI 模型前辈最大的不同。
• 确保回答有效性同样值得关注的改进是，ChatGPT 在道德约束上做得很出色。如果我们去询问一些逾越了道德边界的问题，或者一些特别敏感的问题，ChatGPT 基本都能察觉和回避。这让我们想起了 AI 绘画大模型最让人诟病的地方，那就是通过 AI 生成 18+ 图片，尽管这不是一个技术问题，但对于一个智能内容生成平台，我们显然要有方法管理好内容的质量，以及内容的道德边界。在这一点上，ChatGPT 带了一个好头。
• ChatGPT 还是有很多需要改进的地方。但无论如何，ChatGPT 已经展示给我们所有人，自然语言生成式 AI 所能达到的全新高度。特别憧憬 GPT4.0 的 ChatGPT 改版.如果如传说那般，GPT4.0 已然突破了图灵测试，笔者对基于 4.0 版本的 ChatGPT 抱有无限的期待。

后记

如果能耐着性子读到这里，读者应该自然语言的生成式 AI 的前世今生有了一点概念。

回过头来再问一次，对于「预训练」这个深度模型里的重要概念。读者有没有想过，预训练到底是什么？

对，具体而言，预训练就是在几千亿参数的支持下，类似 GPT 这样的超级模型灌入了难以计量的文本训练数据（说不定已经把全世界可以搜刮到的文本都拿来用了）来训练得到了一个通用大语言模型。

不过,在更高的一个角度去畅想，当我们把全世界的文字信息直接灌进拥有数千亿参数的 AI 模型里，模型在网络的各个层级上抽取和记忆这些文字里的特征信息。那么，GPT 这样的超级模型实际上就在通过所谓预训练方式，学习到了人类所有文字信息的全部特征，直接把人类的语言智慧记在了自己几千亿量级的神经网络大脑里。

做到了这种程度，真的就像是我们用人类的全部知识体系来培养出了一个超级强大的机器大脑，这个大脑通过它超大规模的人工神经网络规模接纳学习了人类创造的所有内容。进而，针对人类的任意问，AI 可以做出连图灵测试都无法区分的真正智能回答。

人类已经马上无法分辨，在小黑屋后面，那究竟是一个人还是一个 AI 了。

这一天来得比想象更快。

一个能容纳和理解人类全部文字知识，并做出真正智能回答的 AI，我们是不是可以简单认为：

今天，真正的机器智能，已然诞生。