欢迎光临散文网 会员登陆 & 注册

基于当前AI技术实现机器人觉醒的可能性探讨

2023-06-07 11:09 作者:尴尬区up主  | 我要投稿

ChatGPT这部机器本身是没有记忆力的

你每次给他发送的提示词对它来书都是全新的

所有的信息都在这一次提示词中

它给的回答完全依赖于你所给的提示词

那么chatgpt是如何记住我们历史聊天记录的呢?方法很简单,如图所示,把之前你聊天历史的所有问题和回答都发给chatgpt,这样看上去它好像就记住了,你们的聊天内容了。

人类的大脑都是独立的(目前认知范围内)

人工智能的结构:共享大脑

基于大语言模型的人工智能可以认为是共享一个大脑

一个独立的上下文等于是一个独立的机器人

当然不能无限制的把聊天记录发给chatgpt

我们每次给GPT输入的提示词是有限的

GPT-3.5:4k token,相当于3000字的小论文长度

GPT-4.0:32k token, 大约25000字,相当于研究生毕业论文的字数,或者一篇中偏小说的长度

Claude:10万字

突破AI记忆能力的方案有两种(目前):


AI不需要记住对话的每个细节,只需要知道最近几次对话的细节就可以了。再往前的对话让AI自己总结概括即可。这样看似AI记住了很长的时间信息,实际上AI的记忆能力仍然仅限于这个prompt中。如图所示:

采用总结上下文的效果如图所示:

所以目前的AI记忆容量是有限的,那么AI有办法做到长期记忆吗。




向量数据库不是通过SQL语言查询返回确定的结果。而是按照相似度,给出一系列可能的查询结果。

例如:查是城市,返回结果安装概率排序

(推荐算法应该用到了很多这个技术)

介绍完向量数据库(vector embedding),我们来介绍一下AI是如何使用向量数据库的。

GPT的每一次调用都是独立的,Bear that in mind.没有记忆的,那么GPT的记忆只能来自于每次给它发送的prompt提示词(也就是上下文).有了向量数据库的加成, 我们就可以把

1.想问的问题从向量数据库中提取出来然后拼接成上下文发送给GPT

2.而GPT返回的信息又保存到向量数据库中,这样这个向量数据库就成了GPT的长时记忆





GPT作为一种神经网络可以分为训练和推理阶段,在训练阶段,通过反向传播,不断调整网络参数,GPT本身会知道2021年以前的事情,而推理阶段,网络已经成型,无法接受新的知识,

动态神经网络,网络可以在推理的时候,可以反向传播,修改网络的参数,这样就实现了网络参数的自适应。

如果这是真的,全世界都在使用与之对话的LLM,就会成为名副其实的奥创,他可能拥有万一级别的神经元连接,所带来的超级智能,它了解全人类的知识,我们真的不知道我们打开的瓶子是阿拉丁灯神,还是瓶中恶魔。



基于当前AI技术实现机器人觉醒的可能性探讨的评论 (共 条)

分享到微博请遵守国家法律