关于GPT 国内vs国外

ChatGPT这种技术的上限在哪里？ 目前还没有看见。一般来讲，数据（质量和数量）决定效果的下限，模型（容量和精巧程度）决定效果的上限。 首先，值得我们注意的是OpenAI本身并没有掌握极其大量的数据（相比Bing和Google来说）。OpenAI的基础数据都是他们自己通过各种第三方渠道爬来的。即使在推出ChatGPT的时候，他们手中的有标签的数据的体量也并不是特别大（相较于体量更大的公司能够动用的资源以及数据量而言）。 换句话说，今天效果这么好的ChatGPT，基于的数据似乎是作为一个第三方都可以获得的相对不那么大量的数据。同时，从模型的容量看起来，其基于的基础模型（GPT3.x以及InstructGPT）的175B的模型容量在2023年的今天看起来“似乎一般”；即使加入“成本可控”的前提，3年内再大100倍是完全有可能的。 那换句话说，两三年内如果模型容量再提升100x，数据数量和质量再提升100x，那么三年后的ChatGPT的能力边界在哪里，有点不敢想象。 而不幸的是，这就是计算霸权和数据霸权的体现。全世界能够搭建得起这个团队，出得起这个钱，买得起并且买得到这么多A100卡，再能够从各级领导协调到这些资源并且克服各种内部斗争的团队，乐观讲也就50家，悲观讲可能也就10家。美中比例大概7:3。 换句话说，对于绝大多数人来说注定只能在应用层去玩耍。