欢迎光临散文网 会员登陆 & 注册

为什么Yann lecun(杨立昆)对chatGPT持否定态度?

2023-07-15 23:58 作者:华侨观察站  | 我要投稿


在讨论chatgpt的局限之前我们不妨思考一下,为何大规模预训练模型首先出现在nlp领域而不是cv领域?深度学习在nlp上的发展进度为何遥遥领先cv?
要知道在2017年transformer出现之前,cv领域的发展是领先nlp的。然而当transformer出现以后,nlp领域的研究就一发不可收拾,经历了以下过程。


1.transformer统一了nlp领域的特征提取算子,具有全局信息感知能力的transformer以压倒性优势击败了传统的rnn。
2.bert模型展示了大规模预训练模型的威力。训练好的预训练模型经过小规模的微调就可以很好的适应下游任务。从这开始,agi的实现出现了曙光。
3.chatgpt横空出世,大规模预训练模型+prompt 让绝大多数上游任务的研究变得毫无意义。
讲到这里,我们可以思考一下cv和nlp这两个原本是平行的研究领域为何产生了不同的发展结果。
nlp的研究对象是文字,cv的研究对象是视频图像数据。文字是人造的信息载体,天生就高度抽象化,规则化,信息密度远远高于视觉数据。这就导致了cv中一些非常困难的上游任务在nlp中并不存在。例如像素级别的图像分割是cv至今都未解决的问题。而自然语言分词技术基本上可以说是被解决了。
可以用数学语言来这样总结,cv领域中的数据分布模型的复杂程度要远远大于nlp。而目前的深度学习技术简单来说就是通过朴素贝叶斯公式,以采样的方式构造数据集,将其分布假设为先验分布(这一假设很多时候并不成立),并通过网络模型估计概率密度分布,预测事件的后验分布。
上面的叙述简单来说,任务的困难程度,完全由真实世界中数据分布的复杂程度决定(因为这是模型需要估计的目标)。另外采样数据和真实数据之间的分布差异也是影响模型精确性的一个重要因素。
所以为什么深度学习在nlp比cv发展的快呢?因为文字数据分布复杂性肯定远远低于图像数据呗。并且在构造数据集的时候文字也远比图像容易。
所以nlp领域远比cv更适合使用概率模型进行分析。所以问题来了,chatgpt这类大语言模型的成功能够复制到cv领域吗?从nlp到cv,数据的复杂性应该是成几何倍数的增长,低效的概率分布模型能在撞到算力墙之前拟合如此复杂的视觉数据分布吗?
我个人认为除非算力无限膨胀,现有的深度学习研究或早或晚都会撞上算力墙或者受到工程上的限制。这可能受制约未来大模型发展的一个最重要的瓶颈。



为什么Yann lecun(杨立昆)对chatGPT持否定态度?的评论 (共 条)

分享到微博请遵守国家法律