随便写写

ChatGPT刚刚公测的时候，群里就有同学发了一个链接进来，大家体验了一下，评价不一。因为之前做过一点简单的深度学习项目，很入门的那种（验证码识别，简单的nlp，判断两句话意思是否一致），所以我对于现在网络上尘嚣甚上的说法（尤其是我们学校还有一个教授借着这个机会疯狂炒作自己定义的概念）有着很强烈的反感。 用程序员的视角看AI，本质上可以说是用线性代数去做各种场景的拟合。也就是说，对于某一个特定场景的y（目标值，可以定义为“这张图片里面的是猫而不是狗的概率”），通过大量的输入x，以及这些x对应的y来摸索怎么样让一个函数f可以实现f(x) = y。具体到ChatGPT上，和大部分生成模型类似，这里的x是“当前的字”，y是“下一个字”。 这样说似乎很抽象，用一句话来表述就是，“ChatGPT这个模型能够预测：对于给定输入，输出一个字x后，输出下一个字x'的概率是多少”。这里会有类似隐马尔可夫的生成链相关的内容，在大部分语言相关的技术上都有使用。 可以歪个楼，最开始大家做中文输入法的时候，因为相同拼音的输入会非常多，怎么给出一个相对更符合上下文的选项排序就非常困难。引入了隐马尔可夫模型以后，通过计算当前输入上下文的条件概率，就可以给出一个更符合人们说话习惯的排序结果。 结合了AI以后，隐马尔可夫模型有了更强的泛用能力，从词的级别可以进化到更远的上下文（LSTM模型）（实际上引入更长的文本前缀也不是不可以，但是仅仅用传统的模型来拟合，成本会非常高）。仅仅到这一步，ChatGPT只是具备了生成海量文本的能力，文本的质量还是不能保证的。那么怎么用比较低的成本来调教ChatGPT，让它能够生成可以让人满意的内容呢？答案呼之欲出：再搞一个模型做这个事情。OpenAI雇佣了几十个人，这些人经过了统一的培训，要求他们对于一段文本的打分能够处在一个很一致的水平。包括对各种议题的看法，统一在一个水平线上。 因此在这个新的打分模型里，y就是分数，x是一句话。这些人提供了大约数千条的数据，是真人的打分，那么模型经过训练以后可以收敛到一个相对高的准确率。 此时潘多拉魔盒就被打开了：ChatGPT居然真的左脚踩右脚上天了！来自模型的监督会极大的放大ChatGPT对于某一种回答方式的偏好，从而调整自己的参数，最后ChatGPT的回答是一套至少在监督模型看来很符合要求的答案。 那么，代价是什么呢，我的朋友？ 前面已经提到了，ChatGPT是一个生成模型。也就是说，本质上可以认为ChatGPT就是一个按照概率蹦字的模型。这个模型可以依据在整个互联网上搜集到的信息进行模仿式的语言输出，但是对于计算机本来应该最擅长的逻辑推理、运算等功能，表现很差（加法都算不明白那种）。当然，这个问题可以让ChatGPT自己编程解决——这似乎向我们揭示了一个有可能存在的，ChatGPT的能力上限：一个程序员。 所以这里是不是还挺有趣的，有这样一群人，造出来了一个和自己的能力相当的产品。 但是我必须再次强调一点：ChatGPT本身所有的能力，或者说所谓的“思考”，都是基于公开的，能够获取到的内容，经过了概率的演算，拼凑出的答案。和一个搞AI的朋友聊天，他说，用随机噪声出发去训练一套给ChatGPT的指令，也就相当于ChatGPT有了自己的想法。从我的角度看，我仍然认为这和我认知中的智能有巨大差别：基于少量的信息和一套相对完备的逻辑框架，得出结论VS基于海量的信息，一个词一个词拼出来一套回复。哪怕这个回复是高分的，是符合逻辑的，我仍然会认为这和人工智能的愿景有很远的距离。 力大砖飞的路径带来的结果，用我舍友描述AI去做CV的话说，“第一次把图像分类这个任务做到了可用的水平”——ChatGPT也第一次在人机对话这个层面突破了绝大多数同类产品。路径的选择是需要结合时代的科学背景的，当前的计算机结构，对人本身的智能理解，并不能支持所谓的强人工智能，“创造生命”的实现，但是能够在效果上接近（想象让自己养的宠物说话，还能说的像ChatGPT一样流利：对于已经有一定智能的生物都看上去不可实现，更何况创造出具备智能的电子生命再完成这个任务呢），在我看来，是远超区块链、元宇宙这样的风口的。 所以在批判和感慨之余，我觉得微软New Bing这个产品的推出印证了我这段实习让我学到的一个重要知识： 一个伟大的产品需要的不仅是技术的革新——这往往会让一个产品非常好用，更重要的是商业模式的革新——这决定了会不会产生新的玩法，会不会淘汰桌上已有的玩家。 以我对我认识到的变现方式来讲，想要获得收入，要么选择接广告，要么选择直接向用户收费（应该还是有第三种的，大概类似于利用共识，炒作价值，但是我挺讨厌的，就不想单列出来）。 广告模式可以是曾经的电视广告，像有的电视台就会没有底线的接各种垃圾产品的广告，还会伴随着一个结尾大概率是8888的订购电话（现在应该是二维码了吧）；也可以是搜索引擎的广告，例如根据搜索结果的位置来定价，这个应该是谷歌带头干的（计网老师这么说的，比如搜麦当劳的时候哪家在前面，优先展现=加钱）；在当下，我理解不管是SJ还是tiktok，提升用户使用时间的根本目的还是为了更高的广告展现&因此带来的收入。 直接收费比较成功的例子，我觉得主要是游戏。游戏的内购/买断模式算是比较成熟的了。大部分软件的会员模式感觉做的都没有很出彩，比如腾讯花了很多钱去买NBA版权，但是愿意充钱去腾讯体育看NBA的用户很少，感觉主要受限于腾讯的定价策略。 最后还是提一嘴吧，像meta和区块链引出的虚拟货币给我的是一种类似于炒股的感觉，股票这种收入很有那种，“傻逼的共识也是共识”，还有就是“只要大家都觉得这个值钱，这个就真的值钱”，个人觉得是一种不够理性的价值取向吧。也有可能是因为我把握不住，所以我很不喜欢这个（笑）。 列举完了这三种，其实我觉得我想指出的一点是，ChatGPT在微软的New Bing里，仍然是作为一种“辅助”的角色出现的：微软想通过ChatGPT来增加bing的用户，进而提升市场占有率，最后继续依赖谷歌的商业模式发展下去。ChatGPT可以是bing挑战谷歌的一张牌，但是我个人不觉得这张牌在谷歌也具备很强的AI技术的前提下，能起到一锤定音的作用。当下所有的大公司都在建设类似ChatGPT的产品，并且期盼于这种产品可以改变当下的格局，我个人是抱着相对更悲观的态度的：一个能力范围在程序员这个级别的技术，又有什么产品可以被赋能到成为被这个风口托起来的猪呢？