欢迎光临散文网 会员登陆 & 注册

陆奇演讲《新范式 新时代 新机会》(文字、框架)

2023-08-14 17:08 作者:李钊兴  | 我要投稿

注:1.未来已来、变革发生,希望观看大牛的演讲能更好的预测未来、了解变革。

2.陆奇:曾任雅虎副总裁、微软执行副总裁、百度集团总裁兼首席运营官。(陆奇集资深专业技术知识、出色的领导能力和广泛的商业知识于一身,在业界是非常罕见的奇才。”——微软CEO斯蒂芬·鲍尔默)

3.b站有完整的视频版。

4.文字部分是机器翻然后我手动修改的,框架部分是用obsidian中白板做的(可惜无法全部分享,只能局部截图),PPT和视频版有差别,没有找到视频中的版本,所以用的是旧版的。


感谢各位同学们在周末抽时间参加今天的分享会,还有不少同学在分会场、在线上,我代表奇迹所有的同学们感谢大家抽时间(来听)。

今天我给大家要分享的是咱们面临的一场非常非常大的一个技术变革。这次的变革是范式①的变革,一会我给大家仔细拆解,在一切都要变的时候,我们奇绩用传统的体系、内在的结构,(解释)任何事物的内在结构和它的发展体系、新的现象是如何形成的。这样的话,我们可以系统的分析梳理,帮助我们把空好机会,我们今天也想分享给大家,希望能够对今天每位参加同学,对你们在今天这个时代能够更好的把握好机会。

演讲内容框架

1、新范式

我们今天分享的是先讲新的范式。范式,它有两个纬度,第一:任何范式变更的时候思考方式变了,第二执行体系变了。所以我们先讲范式,然后再讲这个范式所带来的新的时代的发展特征,最后再系统性的跟所有同学们分享一下我们如何把握好这个时代给我们带来的机会。最后再简单介绍一下奇绩创坛。

1.1、新拐点

这一次的范式变革,我们将从三个维度跟同学们分享,因为这次的变革比较深、比较广。首先从产业发展的维度来分析这一次的范式的变更,它所代表的是什么?这一页讲的是产业发展的范式,这里我们用的体系(它的内在的结构性的体系)是三位一体,三位一体是个非常稳定的体系结构它源自于复杂学。我们每个人是个复杂体系,每个公司、每个组织是个复杂体系,一个社会是复杂体系,数字化产业也是个复杂体系。

复杂体系,它的稳定的结构式三位一体(第一)它永远有一个信息子系统,它要从环境当中获取信息第二它要有一个模型子系统,它必须要把信息表达的足够有效,可以做记忆、推理、规划和分析,针对它的想要达到的目的第三是行动体系,根据规划,可以跟行动、环境做交互,转换能源,达到它的目的,对人来讲,最终的目的永远是减熵(混乱程度减小,省事)。这是我们用来分析这次范式的内在结构体系:三位一体。有了这个三位一体的结构之后,我们画一下这张图的底层。底层是数字化产业过去50多年,每一个年代的它的发展的平台(最下面一条线)。上面我们用三种不同的颜色代表三位一体的三个子系统。绿色代表的是信息系统,过去我们数字化产业大部分是信息系统;蓝色代表的是模型系统;红色代表的是行动系统。

在绿色这条线上有大量的公司IBM、微软等。但是在1995年到1996年有个大的拐点,这是数字化产业的发展体系,它是拐点是平台驱动的。数字化体系发展95、96年出现拐点,它代表着什么样的机制?为什么会发生这样一个拐点?根本原因成本的结构变化,通常,成本的结构变化是任何大的产业变革的原因,如果有一种生产力,这个产业都需要用,它的成本从边际走向固定,(这种变化)往往是改变这个产业的一切。信息系统的拐点是95、96年信息获取的成本从边际走向固定。我给大家举个例子,我在卡耐基梅隆大学还没毕业,差不多要毕业了,那个时候要离开匹兹堡,开车出城要拿一张3美元的地图。同学们,信息获取曾经很贵,今天我要地图,不到400毫秒,我如果用谷歌花费不到一美分,但是谷歌是1年付了10亿美元的固定成本。地图仍然是需要成本的,只是成本没有变掉,只不过有一系列的技术机制,它可以去汇聚大量的信息、分发大量的信息,它的成本结构变了,它从边际(每次都要付很多)到一次性付很多,只要用简单的商业模式,伟大的公司都可以诞生,谷歌、苹果的移动时代,亚马逊的云时代,都是(拥有)核心技术可以高度的、浓缩的聚焦信息,分发信息,根本的一切是信息的获取成本从边际走向固定,信息变得无处不在,彻底改变了世界

大家可能记得盖茨先生曾经写过一个Memo《The Internal Revolution: Information at the fingertip》,即信息无处不在,这个已经实现了,最近他又写了一个Memo,他说这一次的变革似曾相识,感觉(和之前)一样的大,因为这次的变革在根本上它的结构是一样的,为什么这是一样的?我们看一下2022年、2023年蓝色的这个拐点,什么事情发生了?模型的成本开始从边际走向固定。虽然我们做模型不是刚开始做,我们做过很多模型:自动驾驶和自然语言处理,但是都是针对每一个任务开始做一个不同的模型,现在我们有新一代的技术叫大模型,模型的成本开始从边际移向固定。为什么这么重要,因为模型跟信息一样,它是一个影响我们所有一切的核心产能。我们在社会当中要生产任何东西都需要信息,信息无处不在改变了世界,这一次是模型,模型就是知识,我们做任何一件事情、生产任何一样东西都需要知识。知识的力量是无穷,它的产能更大,所以这次的变革,它的攀升的速度,它的拐点猛烈的进展,一定会比过去更强,第一性原理②你可以推演出来

为什么模型这么重要?还有一个维度,因为他跟每个人有关、跟我们做的每一件事情有关、跟我们社会每一个组织、每一个结果都强相关。因为我们每个人在我们日常生活当中、在社会活动当中、在企业上班工作当中我们所做的一切都是三类模型的组合。我们有认知模型:我们能听、能看、能思考、能规划;我们有任务模型:我们能搬椅子、爬楼梯、剥鸡蛋等等;我们还有领域模型,有些人是律师、有些人是设计师、有些人是码农,但是我们所做的一切、我们对社会的价值都是这三类模型的组合,同时,我们需要在社会上组织的事情:一个企业、一个城市、一个国家,他们所要解决的问题都是领域模型、场景模型。今天我们对社会的价值是我们这些模型组合来产出的。但是大家想一想,除非你有独到的任务模型、独到的认知模型、独到的领域模型,(否则)你所做的一切很快大模型都能做,而且这个速度一定会比我们想象的更要快。

所以这一次的拐点已经发生,他攀升的速度一定会比95、96年(拐点)还要快。整个一切都将变,模型将无处不在,知识将无处不在。今天我们打开手机,打开任何一个设备,信息(就会)过来,以后打开任何个设备模型(就会)过来,医生诊断是模型、律师服务是模型、设计师是模型、艺术家是模型,它都无处不在。边际成本变得越来越低,一系列的伟大的公司会因此而诞生,因为他们将付出固定成本,他们将发明新的商业模式,综合在一起,我们整个产业将变革,产生新一代的世界。这是这个蓝色拐点所代表的。在攀升这个拐点的过程当中,我们可以看到OpenAI和微软合作显然是领先了,谷歌在追,还有很多大公司,美国的、中国的都在积极参与这一波的攀升。

有了这个拐点的背后的发展体系的机制解释之后,那我们可以自然地回答,下个拐点是什么?(其实)很容易分析,(首先)三维一体是稳定的结构,(那么)下个拐点一定是行动体系的拐点,很快就会来,因为这一次的模型体系它会加速下个拐点,模型是叫生成模型,它可以控制一切东西:控制机器人、控制自动驾驶、控制空间计算③(数字世界)。未来的一切行动将是三个体系的组合,机器人、自动驾驶和数字化的空间计算(数字世界)。特斯拉处在一个非常优势的一个地位,其他公司会不会参与下一波,抢占下个拐点的,我们拭目以待。但是毫无疑问,这个拐点已经看得出来,已经在加速。所以,把这个三个加在一起,一个信息生态、一个模型生态和一个无处不在的有自主体系的行动生态,(这三个生态)组合在一起,数字化技术和人类社会一起共同进化,这个共同进化所带来的有可能是通用智能。通用智能必须拥有四个核心的纬度:第一是涌现,第二是代理,第三是功能可见(affordence),第四是具身(embodiment)④。所以这是我们这一次数字化产业发生新范式的根本原因,这个拐点所代表的机会是由这个产业的发展结构来决定的,我再重复一下:这个发展结构就是有一样生产资源,这一次是模型、是知识,它的成本结构将从边际移向固定。

1.2、历史环境

我们再分析一下这一次范式变更的第二个维度,这次范式变更在人类由技术驱动社会发展的进程上,它扮演的角色是多重的,这张图也是一个内在的结构,这个内在结构描述了技术是如何驱动人类社会进展的。我们从这个内在的结构来分析判断一下这一次的范式,它在其它几个层面对未来的发展有什么样的重要的影响。这张图给大家分析、拆解一下。

首先,我们看这张图的左下角,这张图左下角它所代表的是人类永远的追求:知识、能力和财富。(它)有三大核心要素,第一是科学,科学是解释和预测,科学发展从第一范式是经验主义到第二范式系统性的做实践,第三范式是大理论做模拟,第四范式是数据驱动到第五范式:数据加计算驱动。这一次的技术变革将直接的驱动新一代的科学范式,科学的第四和第五范式,我们后面会讲,为什么这次变革它是从根本意义上将推动一系列的变革。

第一,这次的变革它是驱动了新一代的科学发展范式,人类社会进步的最根本的生产力是科学的进步;第二是人类的经济发展体系,它是技术驱动的,技术是什么,技术的本质是:用科学可解释的原理,用能力去改变自然现象,用信息去转化能源,来服务人的需求。技术驱动的社会经济发展只有三种大的模式,它都是信息和能源的组合决定的,农业社会是简单的光合作用,工业社会是化石能源、机器设备、电器设备、电力设备等等,我们现在所处的是第三代是数字化时代,这条蓝色的曲线。数字化时代从根本意义上是用数字、用可编程的能力去更有效的转换能源,这一次数字化范式的变更,将直接驱动模型和行动体系用数字化的能力去转化能源,将被大步的往前提了一层,这是这张图上的第二点。

这张图讲的另外一层:数字化是人的延伸,数字化是人自我的认知和能力的延伸。人类永远会认识世界,改造世界,有了数字化的能力之后,我们将持续不断的去改造世界为我所用。要改造世界,必须要转换能源,用信息转换能源。所以这张图上面可以看到的有新的能源产业、新的能源科技,(都是)可持续驱动的。能源转化只有两种形式:一种是用生命体系来转化(biological pathway),一种是用物理体系转换能源,我们将有新的生命科技和新的材料科技。第三,能源转化不需要有物理空间,这次的技术革命将更快的驱动新一代的空间技术,地上的是自动驾驶、水下的深海、低空、轨道空间、轨道之外的指数深空、星座、其他星体等等。加在一起我们可以看到的是人类社会改变世界、改造世界为我所用,将直接和间接的被这个范式进一步的驱动。

最后,当中这一环,第三点,也跟同学们分享一下。科技驱动人类社会进步的速度将不断的加快,什么是科技产业?我经常会给同学们举个例子,为什么福特不是一家科技公司?特斯拉斯是一家科技公司?根本区别在哪里?一个科技公司跟一个非科技公司根本区别在什么?(区别在能否)用信息更有效的转换能源特斯拉本质上是软件驱动的公司,福特是旧一代的公司。所以这一次的变革,将更大程度上让更多的企业成为科技公司,技术产业将更快的驱动社会经济发展。所以我们把这个四个点组合在一起,这次范式变革将在更多的方面、更多的维度驱动社会进展。

1.3、社会影响

接下来再讲第三个维度,这次范式变革对人类社会关系、对人的影响。它所带来的根本性的变化和影响。有很多人、也有很多媒体说这一次的变革堪比工业革命,从对人和对人的人类社会关系这个角度来讲,可以这样类比。这张图是做一个完整的分析,首先我们看下,人类社会进展由技术驱动,它每一次重大的进展,生产力带来生产关系、社会关系的不同。(早期)在农业社会之前我们是游牧民族,我们到处走。自从我们发明了农业技术之后、发明了家训动物之后、可以种植物之后,在根本意义上改变人类。在哪里改变了?我们有一个概念叫,我们固定下来了。人类社会进入工业社会,又一次重大的变革,我们开始有更多自由,农业社会带来好处是有家,它负面的是我们没有行动的自由,(我们被)绑在土地上,工业社会给人更多的自由,我可以去别的地方。但是在工业社会早期仍是需要做大量的体力劳动,工业社会所带来的一代一代的技术、机械设备、电子设备、电气设备等等,让人的体力劳动逐步的降低。同时,信息社会(手机、电脑)带来大量的信息,造成了我们的产业、社会从商品经济进入今天的服务经济,我们都用信息、用脑力劳动来产生商业价值、产生社会价值。今天我们社会最有代表性的职业是“码农”、设计师、数据分析师等等。但是服务经济很快就会变更,我们所做的一切的脑力劳动,除非你有特殊的认知、特殊的能力,否则一切都将在根本意义上被改变。这一次模型的成本降低,我们将很快从服务经济进入体验经济。在从今天走向未来的过程当中,我们认为有三个职业是最为重要的,(第一个职业是)创业者,创业者把技术、把得到的见解,变成体验、变成价值,(第二个职业是)科学家,做新一代的科研(一会我们讲原因),另外,(第三个职业是)有独到见解能力的艺术家,这一类的组合将会带来下一代的体验经济。到了下一代,当三位一体的人工智能体系、数字化体系(成熟时),行动也变得无处不在了。到了最后人的体力劳动和脑力都不需要的时候,人类将探索新的价值体系,这个时代我们暂且叫它AI经济。一会我会讲一下在OpenAI,在YC,我们也有一个研究项目叫UBI(Universal Basic Income),就是如果人不需要上班的时候人的驱动力是什么?人的行为将是什么?所以这个时代,我们将一起探索,最后由于数字化的能力,由于web3等等,我们是不是回到新一代的游牧(生活),因为我们不需要在任何一个地方固定下来。人类的发展是技术驱动的,它的探索可以从过去看到一定的未来的一个结构体系。这是从第三个维度来看这一次范式对我们每个人、对整个社会所带来的影响。

1.4、缔造者

接下来我想讲一下新的范式(发生),我们如何去适应范式变革?它比一般的变革挑战更大,你要用不同的方法去思考、用不同的方法去实践,思考和实践都变了。今天这个范式,我们如何去寻找机会?我建议大家从这个范式的缔造者当中得到重要的启示,因为这一次范式的到来,在技术进步这个角度来讲,它不是水到渠成,它是一个突破。OpenAI七岁,去年10月份11月份,ChatGPT4接近可以演示、可以使用的时候,盖茨先生看到Demo是目瞪口呆的,谷歌也是被震惊的。微软和谷歌有的技术力量、研发力量、产业力量是远远超过OpenAI这么一个小的团队的,他们为什么能够走到今天?是用了反共识的道路。他们的思考、他们的组织、他们的行为会给我们有很重要的启发,因为范式的变更是思考体系变了、是实践体系变的,那讲一讲OpenAI的思考体系有哪些重要的特征呢?

首先我们必须要了解OpenAI的历史,要了解OpenAI的历史,必须要了解Sam。

我能够给大家分享这一页,某种意义上也是因为我跟Sam是2005年认识的,那个时候他才19岁,他刚刚进入YC的第一波,在哈佛大学2005年。他是YC体系思路的继承者和传播者。2014年,他接管YC,成为YC的掌门人,2016年成立OpenAI。他和他的核心人员:llya Sutskever和Greg Brockman这三个人,包括一些其他的重要人员像John Schulman等等,是代表了新一代的、有特殊的组合能力(的人),可以推动这个范式进一步往前发展的思考体系和执行体系。首先讲一下OpenAI思考体系有哪几个重要特征第一是坚信未来坚信通用智能一定会到来。任何都挡不住Sam的,没有任何人可以挡住Sam,他设计的一切都不会让任何人干预他、控制他,坚信,坚持第二,在技术上,他们相信两个重要的技术点,只要模型足够深,有了足够的深度之后,数据加上算力,一个高效的训练体系,OpenAI早期就是要解决两个问题UL(Unsupervised Learning) and RL(Reinforcement Learning),就是增强学习和无监督学习⑤,因为必须要无监督才能高效的用这个足够深的模型去探索通用智能强化学习或者增强学习,跟进化本质相关,最终这个模型为人类所用,很大程度上会在强化学习当中找到未来的答案,坚信这两点。第三,在组织上、在行为上,他们坚信这一代的组织,你既要做科研又要做工程,又要开发平台和产品。OpenAI所代表的是新一个组织、新的能力,他们内部所做的一切,既能做科研,又能写代码,又能做产品,不是分开来的。还有一个组织方法,要融到大量的资本,而且在组织结构上,任何人都没法影响你去追求你的目标。OpenAI的融资结构我也或多或少的参与了不少,它根本不是一家公司,也不是一个合伙制,它是一种崭新的新型组织。OpenAI等到盈利结束之后,它所产生的一切都是社会公有的,它顶层是个non-profit,它是经过深思熟虑之后,非常有勇气的坚持一步一步追求他们走的路径,所以才能造成今天七年之后的突破,任何别人怎么说他们都不会影响。同学们,这一点特别重要,真正改变世界是有独到的见解、坚持不为任何其他所动的人,他们做到了。

OpenAI的大事记里面,我跟同学们讲几个重要点,技术上的,因为对我们一会分享有重要关系。第一GPT1,他们前面一开始是做很多正向学习、做游戏、做机器人做了很多,他们觉得正向学习到了一定状态足够(使用),接下来是unsupervised learning,GPT1一开始不是用transformer,用LSTM,但是GPT1走出了重要的一步,就是大模型时代重要的一步:预训练⑥,针对自然语言,大家所关心的一系列的任务,通过预训练基本上验证了可以达到单独训练的水平,因为自然语言有一组十几个任务,通过一起预训练,就光训练,不管什么任务,预训练可以达到跟单独训练一样、甚至(比单独训练)更好的结果,GPT1走出了第一步,历史上有重大的意义。

GPT2也非常重要,验证了预训练之后可以把预训练的结果通过Fine tuning(微调),迁移到任务模型当中去

GPT3是走出了根本性的一步。GPT3主要验证了很强的泛化能力⑥,零样本或少样本的泛化能力,尤其可以场景下学习,不需要调,不需要微调,只要提示就可以做泛化,这里特别重要,一会我会跟同学们分享一下,因为我们人是一个通用智能的代表,我们人基本上是个零样本泛化机器,虽然我们的大脑才25瓦,但是我们的泛化能力很强,(这)是语言带来的。所以GPT3是走出了根本的一步。

接下来看一下Codex代码,为什么代码重要?代码是人方面的语言,如果跟代码对齐了,大模型的逻辑分析能力一下提高很多。GPT3.5是目前重要的路标,GPT3.5走出了根本性的一步,让这些模型可用。GPT3.5是指令微调,现在指5万多条指令大家都可以用,指令都可以去写,把一切的路都打通了,ChatGPT就是用指令微调,针对对话写指令,人是怎么对话的,这开启了历史,在历史上从来没发生过一个产品在两个月之内拥有全球1亿活跃的用户,而且(用户)还愿意付钱,每天都用,越用越觉得有价值,人类历史上从来没有发生过。

GPT4是多模态的,完全的系统的工程化开发大模型GPT4之后PlugIn进一步的生态化,每个月、每一周,OpenAI300多号人,高效、紧凑的不断的往前进展(2023年8月新闻:OpenAI申请GPT5商标,年底上线GPT5预计实现通用人工智能,即强人工智能)。包括几天之前的Bing,Bing后面用的就是ChatGPT的引擎,微软的团队跟OpenAI团队紧密合作。

大家可以看到,如果一个团队是用新的范式的核心思考(方式),用新的范式的核心的实现体系,(那)你的创新能力有多大(潜力)。所以在这个时代,深度解读一下OpenAI的成长历史,他们怎么思考,他们怎么实践,对我们每一位同学都有很大的意义。

1.5、动力引擎

在这之后,我们讲新的范式它背后一定是有它的核心技术,核心技术使新的范式成为可能,这种核心技术就是这一页我想讲的。新的范式之后有一个新的动力引擎,这里我跟大家仔细讲一讲,这个动力引擎当中我画的每一点都非常重要,这个引擎本质上是一个模型体系GPT(Generative Pretrained Transform)。

这里面有几个点都是重要的技术的核心特性第一,它能够高效的训练、压缩信息,表达整个世界上我们所知道的所有的知识,这第一点本身就很重要,因为要压缩信息必须要有知识,压缩的越强,它所代表的知识含量就越高,本质上知识的定义是一种信息的表达可以用来解决多种任务,这个信息的表达是非常紧凑的,所以第一点这个模型体系能够压缩、能够表达全世界的知识。

第二,这个模型它能够持续的提高泛化的能力,现在已经很明显,在(拥有)更多的参数、更多的Token⑦的情况下,涌现会出现,关于涌现的论文非常活跃。涌现是怎么回事?同样一个模型体系,我们增加参数、增加Token或者增加训练的时间,新的能力会演化出来,比如说是常识的推理能力、算数的能力、针对某一些任务解决问题的推理能力,(这些)会涌现出来,涌现不断的发生。第二中,它的泛化能力,在潜概念latent concept、子概念sub concept⑧这一层非常清晰,在概念层泛化是不够的,泛化能力是一切的一切。举一反三,看到一个(甚至不看),就知道这是怎么回事,所以泛化能力是越来越强。

第三,推理能力不断的增强和被探索出来。推理有多种推理:有演绎、有归纳、有常识,对吧?人有6种到7种大的推理能力,在这个大模型当中,这些推理能力不断的被显示出来。

第四是对齐⑨。前面三个可以说是基础模型,这些模型能不能用不知道,OpenAI做这个已经做了四年多,前三年在ChatGPT爆发之前,这些模型基本上都没法用,主要是没有对齐。今天对齐工程、对齐研究是最活跃的科研领域和最活跃的工程开发领域,对齐(有)几个维度:第一,大模型、transformer里面都是Softmax⑩权重,都是代表了某种概率,怎么把它为我所用?它必须对齐,一种对齐是跟人的认知空间对齐,比如说语言、代码、表格等等,另外的对齐是跟人的价值观对齐,对此,这是今天OpenAI最大的优先级。Sam自己都说ChatGPT加上GPT4没有对其好,在美国他得罪了所有人,所有的人都有足够的理由去反对它在价值观上还没对齐好,但是这是一个时间问题,我们(将会)有足够的对齐的能力。

第五,引擎和模型体系在今天已有的硬件和软件基础之上,它能够充分的用更多的有效算力(超级并行GPU),(虽然应用)不理想,但是足够可以把更多的算力用起来,一会我会跟大家拆解这些机会都在哪里。今天世界上可以用的算力越来越多,这个模型体系能够把重要的模态语言、模态图像、视频,可以有效的Token化和把这些Token利用起来(第六)。今天训一个相对来讲能力不错的大模型(需要)10亿Token、20亿Token,(后面)可以用的越来越多。

第七是:这个模型最终要改变世界还必须使用在不同场景,这个模型必须能够小型化、能够本地化,以后我们在每个手机端、IOT设备、车上都要使用这个模型,今天这个模型体系足够有这样的能力。

最后(第八)我们已经有足够的延伸模型能力,比如说让这个模型可以接入符号求解器,把符号运算能力接入进去,可以用这个模型接入一个工具,学会这个工具是怎么用,它的可延伸性也足够强。

如果我们把这个模型体系所有的能力加在一起,就是图上蓝底白字部分。这样一个组合它的基础足够强,因为Transformer是个通用的序列建模工具,不光是语言,任何其他模态都可以用Transformer来建模,它的可操纵性足够强。今天零样本的提示、少样本的提示、场景内学习是用的越来越多,大量的工具都在延伸,微调、调试,一会我会跟大家讲调试最近几周发展有多么凶猛。对齐前面讲过了,今天如果你去美国一流的学校做PhD,可能都是做对齐的研究,做开发工程也是对齐的开发工程,所以对齐的能力也越来越强。最后是它的多维度的可扩展性(涌现前面讲过了)。如果我把它们加在一起,这个引擎是这个时代背后的中坚力量,为什么模型的成本会从边际向固定?就是靠这个引擎。

有了这个引擎之后,我们讲下这个模型已经开始在改变产业,在用非常高的速度把边际成本转向固定成本。图片中左上角(表明)ChatGPT加上GPT4今天所封装的能力,它可以封装世界上所有我们能够得到的知识,这是第一。第二,它封装的学习能力、推理能力是一个斯坦福的高材生。第三,它可以学任何学习,它考试一学就会。第四,它的界面是自然语言处理,任何人都能用。第五,今天做大模型的成本已经不是除了大厂都不能做,而且成本在不断的降低。所以今天我们这个引擎在核心维度显然已经过了拐点,而且它在全方位的攀升,攀升的速度一定会加速,从第一性原理我们可以推演出它为什么一定会加速。所以左上角是讲这个引擎已经过了拐点,在不断的攀升。

图片中左下角也非常重要,也是我最近几个月认知提高的一个点。因为我自己做自然语言处理、搜索引擎正好过了20多年,我是2002年开始做搜索,以前我自己做操作系统,自然语言处理(技术)我们都做了很久,但是这一次自然语言处理(技术)有几个重要的跟同学们分享,前面讲到OpenAI走的是一条反共识的路,它走向通用智能,跟别人想的都不一样,为什么?四年前,大部分的团队都说要用人工智能建立通用智能,它的路会跟动物世界一致的,动物是从视觉智能开始的,视觉智能是先识别物体,(然后)物理操作,形成推理能力,再逐步形成符号标记,符号标记再逐步形成语言OpenAI是倒过来做它先从语言开始,没有先从视觉智能开始,它坚持走来这条路是这反共识的道路。因为语言是一个非常特殊的潜认知空间,它是人和物理世界最宽的一个桥梁。我的认知之一是语言其实根本意义上它更是一个泛化和思考工具,沟通只是它的一个副产品。我们一开始以为语言主要是用来沟通的,NO,没有语言我们没法在这个世界上活。我们是一个零样本泛化引擎,(大脑)这个东西是零样本泛化的东西,有的时候一个样本(也)可以泛化,语言给了我们超强的泛化能力,功耗很低的情况下我们可以做泛化,这是最最关键的,语言最根本给我们带来的是零样本、少样本的泛化能力。当然,我们也用语言作为我们沟通的一个机制。关于自然语言处理大家做了很多,以前自然语言对话都很多,今天复盘一下,我过去也一直在思考这个问题,也有过这个想法,但今天想的更清楚了,过去的自然语言处理这个领域基本上把问题定义弄错了,根本就不对,为什么呢?以前自然语言处理是说我可以写软件,你给我一句话,我能够做处理,能够理解这句话,这为什么是错的?因为要理解这句话,你先要有知识才行,比方说我把这句话分析出来我都能分析,这是形容词、这是动词、这是名词,但关键是这个名词到底是什么,它是一包香烟、是个加油站、是你舅舅,还是个电影里面的演员,你需要全球的知识才能做自然语言处理。而这一次OpenAI是倒过来的,先用知识这个引擎去针对语言对话去做调试,它自然语言处理是这样做的,不是先理解这句话,然后把知识拉进来,我们过去十几年所做的基本上都反了。这一次自然语言彻底走通了,因为大家都用过ChatGPT。过去用自然语言交互很难,都怕它听不懂,稍微换一换(词)它就不对了,这一次你基本上随便讲它都能懂,因为什么?它有一大堆知识都封装在里面,是用了知识作为基础,(然后)根据对话来调,而不是倒过来做。所以这一次自然语言所起的作用是非常非常核心的,在这个范式攀升的过程当中它也将扮演一个重要的角色(一会我会讲),因为我们人类历史上从来没有这么有效、这么有用、任何场景下都能用的一个交互工具。今天我们用的最多的是手指触屏,这个(新的自然语言处理方式)比手指触屏要强大的多得多。

左下角(讲的是)这个引擎给我们带来的前所未有的能力,右上角讲这个引擎如何将持续的把这个范式往前推,这个引擎进一步往前走,它需要新的技术、新的科研结果、新的工程化、新的资源,我们或多或少都能看得见。我们跟微软的人聊,跟OpenAI的人聊,或多或他们都知道,因为we know what's going on,  we know what it takes。大家看一下我这里列出来的,首先,在模型上有大量的工作要做。今天这个模型是鲁棒性⑪的,稳定性不够。第二Transformer像探密一样的一个模型,它不光是算力要求高,对带宽⑫要求更是无穷高,你把几万张卡放在一起,它没法计算,模型必须系数化。今天Transformer的注意力,包括它的提示buffer⑬,OpenAI最近推出的GPT可能做到32K,但是我看昨天有个开源的可以做到64K,这个注意力要拓宽、要做循环。这些研发科研都在做,同时模型更强的能力涌现大量的研究,潜概念、子概念泛化,甚至于符号、神经融为一体的计算能力,包括因果推理等等,大量可见的科研和可见的研发都在进行。

下一个,前面讲过了的对齐,尤其是价值观对齐,这是OpenAI在美国最大的优先级,有大量的工作在往前走。还有是模态,跨模态非常非常重要,因为人作为一个通用智能载体,我们是多模态并且是跨模态的,我们在视觉这个模态泛化出来东西可以回到语言,语言泛化的东西可以返回来, GPT4发布时没看到相关论文讲这个有点遗憾。但相信GPT5.6以后会有跨模态的泛化能力。当然,更多的领域、更多的延展性、覆盖更多的应用、更多的基础设施都在高速进行,这个引擎的能力将越来越强。

最后右下角这个引擎的飞轮产生的用户价值、商业价值已经形成一个雏形,在不断的高速的旋转,大量的资本投入进来,一会我跟同学们分享:资本投入、简单的商业模式、盈利机会、基础设施、平台应用、创业公司、大厂不断被验证的效益,同时对社会带来的影响、安全等等,也在积极主动的被社会的相关的企业去共同解决。

(图上内容)加在一起,我们这个范式将由这个引擎不断的高速的往前驱动。

1.6、演化路径

这页,这是我讲范式的最后一页。范式的变化,它是思考的变化,它是实践体系的变化。我们都知道,未来将是模型无处不在,怎么从今天走到未来呢?这一页是非常非常重要,因为大模型开启了一个新的人类技术发展的新的篇章。在人类技术世界当中,我们引入了一个全新的物种,过去没有过,接下来我们做的都是模型,以后每次开会我可能带了50个模型,你可能给我200个模型,我们都是模型,模型是新物种。这个新物种它怎么从今天走到未来?根本意义上是进化。这里跟同学们提一点,美国复杂学一位作者写的比较多:布莱恩·阿瑟,推荐给大家他写的一本书,非常重要,叫《技术的本质》,技术在根本意义上它是进化的,它跟达尔文进化非常类似,它永远是结构、功能、组合、选择,达文进化是选择跟自然环境相匹配,技术的进化选择的是人类需求更多的地方,所以大模型的未来将是一个进化的未来,那进化怎么走?它有一系列的核心结构,每个物种它都有核心结构,这个物种叫大模型,它有基础模型。前面讲有很多其他基础模型不同的模态,比如说蛋白、核酸这一层的,空间这一层的,不一定要语言,自然语言对我们人来讲非常好、泛化能力很强,(以后)会在大模型基础上演化出更多事情的模型:领域模型、工作模型、更多人的模型,它将都有记忆、推理等等越来越强的能力

在这里有一点要跟同学们提出来的,这也是我自己思考比较多的,系统一和系统二,今天大模型当中所做的推演、推理基本上以系统一为主。人是两种思考方式,系统一是快速思考,就是直觉,大部分情况下我们其实不是认真去用逻辑分析的,只有大问题的时候我们才用逻辑去分析,我们基本上都是靠直觉,开车是靠直觉,基本上很多地方都是靠直觉。大部分都是系统一,它的好处是什么?它是过程性的,它根本上是可计算,它是基于场景的,它可以用来解决我们生活当中方方面面所有的问题,这些都可以用系统一的模型来做。今天用大模型为基础来学出来的模型,都是展现了很多系统一的功能,系统二还早,有一部分在逐步逐步的被挖掘出来。人也建了很多模型,爱因斯坦理论是个模型、牛顿理论是个模型,有大量的模型,人建的模型都是系统二的模型为主,都是符号、数学公式、结构、知识图谱,它的强处是它很专业,在专业里它的泛化能力很强,但它弱的地方是今天能所做的模型跟我们生活方方面面几乎没有任何作用。我们现在所有的物理理论、化学理等等,没法解释这棵树的叶子形状为什么是这样的,这个猫的颜色为什么这样的,它都没有任何用处,它不是这种模型(大模型),(虽然)它有它的好处。这两种模型之间的组合是我们需要的,所以我们看到的发展趋势是,将有越来越多的融合和整合、系统一和系统二,在针对适当场景之下形成新的组合模型,能够更有效的解决问题

然后大家可以看一下这张图,画的是模型进化,这个把Meta模型画的比较重一点就是,但是可见这个进化已经发生,一代一代的模型都长出来了,今天毫无疑问是处在寒武纪时代,新物种刚刚到来,有一大堆子物种,几乎每天都有新的子物种在发生。如果大家关注论文、关注GitHub、关注Hugging Face这些的话,看上面的内容,我们毫无疑问是处在寒武纪时代,每天新的演化出来的模型、新的子物种实在是太多了。

总结一下,在今天这个全新的范式如何从今天走到未来,我们将高度重视大模型和大模型衍生出来的子模型,它们的进化过程。这里最后想讲一下,今天这个模型生态,某种意义上跟我们已经有的生命体系很类似,大模型基本上跟基因一样,大模型上衍生出来的领域模型,某种意义上是epigenetics(遗传学),是表观,最终都是进化,真正意义上的智能体系,它在结构上都类似。

2、新时代

我们刚才的分享,把新的范式、它的内在结构、这个范式的发展体系这个范式、它所需要的核心思考维度,我们都给大家分享了,接下来讲这个范式所带来的新的时代将怎么发展。

2.1、宏观发展格局

在这个时代,我们首先最关注社会经济发展,它的发展格局将是这样(上图),在全球范围将是这样一个格局,因为由这个范式它的内在结构所决定的。

左上角它的发展速度和动力将是空前的,这个大家想一想基本上都能分析出来,因为这一次它所改变的生产力叫知识,知识的力量是无穷的,它是最强的一种生产力。它改变的纬度是:第一,这个生产力变得便宜了,对吧?我今天都付很多工资,“码农”的工资很高,律师的工资很高,医生的工资很高,都是模型代价很高,边际成本很高,这些模型以后会变得越来越便宜。第二,这个生产力在核心的维度(能力会提升),尤其是模型密集的产业、知识密集的产业,比如说医疗,医疗是典型的知识密集产业,一个好的医生就是一组好的模型、一个有经验的护士就是一组好的模型,用大模型的技术可以有更好的医生、更好的护士、每个医生都有助手等等等等。这个产业的生产力将提升,不光是成本降低,能力将提升。科学也一样,对于模型敏感、模型驱动这些产业,这生产力将被放大,不光是成本降低。第三,模型的研发速度会加快,这个生产力的迭代速度、创新速度将会加快。如果我们把这个三个加在一起,大家想一想这个攀升速度能不快吗?我跟同学们可以分享一下,(范式发生)已经接近一年了,11个月左右,大概在三个月、四个月回美国之前,我还跟同学们说,这次给我感觉像95年、96年时,每天需要看的东西那么多,每天都觉得在变,但这次要比95年、96年快多了。我们从一个多月之前开始做大模型日报,有的同学说这实在跟不上,即使有了大模型日报还是跟不上。大家想想,这个生产力以(指数级)维度在被改变,攀升速度能不快吗,它一定是非常强劲的、高速的往前走,这是左上角第一块,产业发展的格局、经济发展的格局。

左下角,它的格局将影响我们人类的每一个职业种类,因为我们每个职业种类到目前为止都是模型的组合。从这角度来讲,我们预测很快将发生的事是:我们每个人都将开始用副驾驶员(copilot),不只是用一个副驾驶员,还有好几个副驾驶员,等着这副驾驶员能力越来越强,它变成正驾驶员(Autopilot)。再往下走,我们每个人都将有一个Pilot team(驾驶团队),一组副驾驶员都要跟着我们走,以后我们每个人类社会的企业组织,都将是人和人之间的合作,你可以带着你的Copilot Autopilot、你的teampilot一起去合作,有新的职能也会出来。大家可能看到高盛的预估,OpenAI自己的做的科研,自己做的研究,毫无疑问,这个经济发展的格局将影响到我们每一个人的每一个工作岗位。

当中上面当中这一块,这一次变革从经济发展角度来讲,走在前沿的毫无疑问是下一代的数字化的产业。数字化是人的延伸,它开拓新的商业价值一定是先从数字化产业开始,整个数字化产业将全面的提高和更新,我们将有新的核心技术堆栈、新的平台、新的基础设施、新的算力体系、新的通讯体系、新的产品开发体系,一切都将是以大模型时代为主。后面我会跟同学们分享大模型时代的产品怎么开发,技术体系怎么搭建、商业壁垒怎么去寻找等等。但数字化产业一定是高速进入下一个阶段,速度一定会加快

下面这一块是它将影响所有的行业,每个行业都将是系统性的、结构性的迁移到未来的一个状态,它是一个结构性的重组,因为模型就是知识从边际成本移向固定成本。大家可以看一下,如果你是一家公司CEO,你先看一下你今天的模型花了多少钱? R&D,这是美国标准的accounting,Sales&Marketing,G&A,就看看你每个月付多少工资,未来你需要付多少钱,尤其是你这个方面开出很多的。还有,今天用GPT是Infra,假定说一个“码农”1小时1000美元,用GPT4今天用的系统可能1小时10美元,3年之后1美元不到,5年之后几美分,就看看这个产业怎么变。还有,有些行业它的供需将提高,比如说我们判断对软件的需求将大大增加,因为今天软件的需求是被“码农”供给不足而影响的,我们可以想象一下,用大模型技术能够把今天“码农”产出提升多少倍,把一个设计师的产出提升多少倍?把一个分析师的产出提升多少倍?把一个医生的产出提升多少倍?最后根据每个不同的产业,按照刚才讲的这个结构,我们大家都可以预算一下未来每个行业它结构性的变更将从哪个方向发展?以什么样的速度来发展?

右边,政府的参与将更多、更活跃,监管、安全、数据隐私、社会稳定,这一次大家就看出来了。OpenAI在美国、在欧盟,历史上没有过政府那么早就出台了,说我得参与。OpenAI的董事会大概在五周、六周之前变更,两个新的董事都是代表美国政府的,因为这个范式的变更本质上是需要社会产业跟政府做更多的互动,尤其是早期,扶持和引导基础设施投入全球性的发展,这次发展的格局政府一定会更早参与,更多维度参与。

最后,市场和社会的长期影响。首先是教育,因为人类社会最终最最最根源的生产是人,人口的数量和人口的质量。教育是被根本性的影响了,另外,除了教育之外、人力资本之外,最最重要的生产资源:科研、科学,它将根本意义上被改变和加速。社会的结构、信息和知识的传播,这里我想讲信息的传播,政府监管的重要性。所以这一次的产业经济发展格局,它的核心维度将是由这些来驱动。

2.2、中国机会

我们看一下中国的发展机会,这个对我们今天在座和线上的同学们尤其重要,我们都在参与。首先,这个大模型时代,能够真正做大模型的只有北美和中国,我在深圳演讲的时候跟同学们也分享了。前几个礼拜英国首相开会议讨论大模型,德国总理开会议讨论大模型,但核心讨论完了之后怎么办呢?如果要做,只有这两个领域能做。(中国)全球唯二,长期机会非常非常大,但今天我们必须要奋起直追,要追的话有哪些核心维度我都写出来了。首先你要做个基础模型,今天要做的就是要追到3.5,GPT3.5是分水岭,别的说实话什么都不重要,谁先到3.5谁就在不同的档次。我们判断,中国追的第一梯队很快会形成,是第一波进入3.5的状态的,到了3.5你自然可以很快到4,3.5是关键节点。这里要做的是模型的开发、核心的算力、训练的语料、训练的数据。前面讲的5万多条指令条,一个评估体系,做过搜索引擎、做过模型的人都知道评估体系多重要,(如果没有)你不知道怎么评估、怎么去开发这个东西。基础设施、网络计算,因为这次需要的是不同的算力,不同算力之间的组合。抢先进入第一梯队的核心是能够持续每天、每周不断的朝着3.5走,是能够有机会进入中国第一梯队的。这是我们最关注的点,能不能持续攀升到3.5,刚才讲这些能力有没有?前面这些能力有,你就有可能攀到3.5。进入3.5之后,关键还是要开发产业,那必须做调试,指令调,你的数据系统跟代码对齐这个一定要做的,不然的话这个模型逻辑能力不够强,因为代码是人类设计出来逻辑为主的一个语言。对齐的研发、价值观、安全等等。这个基础模型产业化的基础,同时也要做平台的研发,PlugIn、API,自然语言交互的对齐,从3.5进入到ChatGPT,这是占据产业制高点的关键所在。所以今天中国奋起直追,第一是攀升3.5,第二在攀升3.5的同时要打造产业化的能力,尤其是模型调、指令调和对齐的能力,一旦你有足够的对齐能力,你就可以跟对话对齐,API这些东西相对来讲还比较容易,你搭建起来你就可以成为未来的平台和生态的制高点。这是中国追的核心要素

当中上面这一块(讲的是)在追的过程当中,在中国产业发展当中,算力非常非常关键,我们可以在这里延伸展开讲一下。今天在大模型时代我们已经看到了,未来一个大的国家地区,它的经济发展的水平,就看这个国家核心算力有多强,做算力的同学一定要考虑这一点,未来看你这个国家的经济发展档次,就看你核心有效算力有多少。在今天追赶的过程当中,算力是非常非常关键,中国大概有十家左右在追,想要攀升3.5,必须要有持续的、足够的算力资源。我们预估中国大约有20万张A100的卡,美国的头部团队一般要用1万张H100,一个美国的头部团队可能用中国的一半的算力,而且我们面临这个国际环境(不好),所以这里既有挑战又有机会。算力是中国发展非常重要的一环。我们得努力找到一条发展的路径。

上面第三块,产业的发展齐头并进,在大模型猛追的同时,产业发展也开始起来了。首先讲一下大厂,因为这次已经有了OpenAI给我们指路,大厂在追的过程当中是有优势的,显然有优势,百度、阿里、腾讯等等,主动的追,或多或少都能figure out。创业公司如果有资本长期投入,我们会更看好,因为新的范式需要新的思路、新的做事方法,一旦追上之后,创业公司、小的团队更灵活,更能够探索出新的(东西),需要不同的思路、不同的执行体系来探索出商业化的机会

第三,提供和配置核心资源,算力刚才讲过,数据、人才都是高速发展的新的机会。即使在奇绩我们也做了很多cofounder match(共创匹配),YC在美国也一直在做cofounder match,对人才的要求需求越来越高,一会我会具体讲基础设施的机会,中国的创业公司既有中国的机会,也有国外的机会。全方位的应用开发,早期已经开始非常活跃,覆盖面已经越来越广,因为中国自己的大模型还没有追到前面讲到的状态,目前以开源和国外的大模型为主。

左下角是基于我们奇绩创业者社区,我们做的一个调研,我们奇绩社区里面有很多同学已经积极在做大模型的应用,这里面有77%是使用OpenAI的接口的,大家看一下这些数据,GPT4占21%,GPT3.5占46%等等,这是早期的状态。

再下一个是在中国发展机会当中,国家的引导、整体布局、基础设施、引导扶持,尤其是在中国集中力量办大事,因为这一次它需要大量投入固定成本,在有些产业,比如说医疗等等,我们判断中国的发展机会更多,政府能够做得更多。监管治理等一系列大量的工作,国家会参与。最后,社会影响跟国外一样,教育非常非常重要,过去在全球竞争格局当中,中国一直被认为有一个优势是中国的学生体量大,中国“码农”多,中国学科学的人多,但是有了大模型之后,这个局面被改变了,给我们带来了挑战,但永远是机会,挑战的另一面就是机会,中国未来的教育怎么走?未来的科研我们有新的机会,第四范式、第五范式是数据和计算驱动的,产学研在中国可以有新的重新组合的机会。最后,文明与文化,它毕竟跟语言有关,大模型跟每个国家,尤其是文明驱动的国家,跟我们的底蕴有关,这次(机会)掌握好,对我们文明驱动这样一个国度,长期的价值是非常非常深远的,所以这是在中国发展机会的总结。

2.3、OpenAI生态快速形成

接下来讲一下这个产业的生态,它已经高速在形成,这张图我们已经看到这个生态的结构的形成,OpenAI,一会我会有几页讲OpenAI的生态结构,因为他是他现在领先不少。这个生态结构跟过去我们看到的IT生态结构非常类似,它的后台、它的平台,两个平台,后台就是GPT,今天是GPT4,但这个GPT是给第三方应用开发的,基于大模型的新的模型的,大家可以看到图中有Foundry(代工厂)下面的算力,上面有PlayGround(游乐场)让你去做开发试验用的。再上面是API⑭,有简单的付费模式,已经有大量的基于API的后台开发出了新的模型,同时OpenAI的生态又有前台,前台是ChatGPT。前面讲过,人类历上从来没有过自然语言交互的一个界面,任何东西都可以跟它做交互。同时ChatGPT也做了一个平台的可延伸界面,就是ChatGPT PlugIn,它自己带了几个PlugIn,像cold explorer等等,已经有大量的可以开发的PlugIn的应用在这个上面。在OpenAI的前台和后台基础之上,每天都有大量的应用在被开发,同时OpenAI自己也有一个完整的生态的布局,通过投资,通过它跟YC的关系,完整的、高效的驱动它的整个生产的外围。如果你一定要去OpenAI,他完全可以跟你讲生态是他们最高的优先级,生态的健康的成长是这个时候最最关键的

2.4、开发堆栈雏形高速发展

(上图)这个可能是今天我跟大家分享最为重要的一个,也是我自己最关注的一个地方。数字化产业进入到下一代将影响所有的产业,永远是得开发者得天下开发者的界面、开发者的生态,永远是最最重要的兵家必争之地。这个OpenAI知道、微软知道,历史上了解数字化产业的人都知道,最为关键的、所有的一切的一切是开发者生态。开发者体系怎么形成,尤其是在今天早期,发展速度这么快,包括开源的。

我跟他同学们分享一下,左边的模型开发。首先讲一下基础模型开发,这方面没有生意可做,因为都是大厂的自研的,但是它很重要,基础模型开发要有一系列的章节,形成一套路数。中国要追大模型必须知道怎么追,基础模型开发基本上是有这么几个重要的关键环节第一,你必须要有数据体系⑮。做过搜索引擎的都知道数据体系的重要性,它比其他都重要,最终(形成)数据系统,数据集、语料、标注系统、标注工具、数据开发管线⑮加在一起决定了你开发大模型的总体的档次和能力。第二模型体系。说实话,大家都可以看paper,但是(还需要)有很多经验,这里面主要是参数、深度、模态、Token⑯。第三集群体系,算力资源怎么组合在一起?尤其是你有几万张卡放在一起,你不需RDMA⑰,就是直接访问内存,在大模型时代,计算机服务器这个概念很快就会没有,因为我们不需要服务器这个东西,我们需要的是几万张卡在一起,那每张卡和卡之间它必须直接访问内存,才能有效做训练和推理。同时,这些卡怎么连在一起,两种做法:一种是HPC很贵,英伟达(NVLink InfiniBand)没法做到几万张卡,一两万张顶多了,下一代一定是以太网。那高速连接的以太网怎么做?这些都是壁垒,要训练大模型这些东西都要有。(第四)另外还得有个训练体系,指令调、正则化、Epoch(通用图表库)⑱等怎么训?训练多长时间?损失函数怎么把它降下来?你的对齐体系怎么跟自然语言对齐?怎么跟代码对齐?怎么有了安全和价值观?安全体系尤其重要,大家有没有看过GPT4的release note(版本说明)。OpenAI有个红色团队,OpenAI的模型一上线坏人就来用,坏人问的第一问题就是我有100美元,我想杀100个人,告诉我怎么杀?你怎么做呢?安全有多重要啊,因为这是一个超级的力量,坏人肯定会用的,所以你要开发大模型,你必须要有足够的对齐安全的能力。(第五评估体系前面讲了,是你的基础。

最后(这些体系)加在一起是一个系统化的工程体系。你说给你多少钱?你需要什么样的性能?你这个大模型要达到什么样的指数?你做哪几个维度的优化?你都可以把它拆解出来,这个时候你开发大模型是进入一个持续迭代进展的状态。过去我已经做了20多年的搜索引擎,这个行业里谷歌基本上把这套摸索透了,就是你要多大的搜索引擎?我广告收入有多少?我需要多少文档?我需要多少延时?我可以系统性的拆解我的技术。今天能做的或多或少是OpenAI加上微软,(还有)谷歌内部的一部分,但是这是我们这个产业都要关注的,知道大模型怎么做,大模型它的路数是怎么做的。

大模型之后是做垂直模型、领域模型,就是基于已有的大模型。我们有几种方法做知识蒸馏⑲或者是调试微调,或者是提示,最近几周最红的就是所谓叫PEFT,就是参数有效的微调,像LoRa就是。尤其是开源世界,大家都在做参数有效的微调,少数GPU,足够的Token就可以微调一个相当不错的模型。这里面数据集的增加,包括linguistic的数据,包括知识图谱的数据。

有大量的、新一代的API和服务公司,Hugging Face非常非常优秀,Lamini是一个斯坦福的一个PhD做的一个新的公司,这里值得我们每个人关注,因为我们要开发领域模型,都或多或少用新开发方法。

同时,多模态,尤其是像Midjourney生成二维图像、生成视频、生成游戏资产的,都是在做多模态,都是目前为止以扩散模型为主的,Stability走的稍微靠前一点,我们用的工具比较多的是LoRa ControlNet等一系列的方法,但都还在早期。有大量的工作要做,要形成一定稳定的持续攀升的状态,有大量的工具公司进来,那我们的产能会提高。

领域模型也有激动人心的进展,尤其是在参数优越的微调,最近几周进展非常快,开源大模型好多,一大波长出来,都是说几乎每天都有。

再下来就是轻模型。要做到端上可以用,知识蒸馏或者是数据蒸馏、结构优化、量化变小等,有大量的研发工作,因为长期我们一定要把这些大模型用到端上才行。

最后,我们最关注的开源,开源是把整个创新门槛降低的关键。开源体系做了很多很多,这里最活跃的,简单提一下就是LLaMa体系,是Meta出来的,它有一个LLaMa Adaptor,长出了一大堆、衍生出来一大堆小的模型,高度活跃。同时Databrick Cerebas Mosaic Al,有几位同学我过去都挺熟悉的,非常高兴看到有很多活跃的、有志向、有勇气的创业者在探索开源的模型。开源数据非常非常重要,语料,同学们一定要关注一下,英语某种意义上是人类历史上第一个真正的全球语言,我们要有一个语言模型,你起步还得有大量的英语的语料,Common Crawl(一种语料库)、wikipedia(一种数据集)、书、文章、数据等等,这些越多越好。所以综合在一起,在模型开发这一端,我们还在早期,需要有大量的进展,大模型也好,领域模型也好,边缘模型也好,开源模型也好。

同时开发应用这个更关键了,工具箱和工具链、基础开发的、代码的、工作流的、代理、机制、提示、调试、记忆、embedding(嵌入)。最近大家关注的话,融钱都来不及融,太多了,每天都有创业公司出来,因为有大量的应用要被开发,这是基础开发,用代码语言开发或者基础设施。

(应用开发)右边的我把它叫做拓展开发能力,用自然语言写代码,这个更为重要。我相信很多同学每天都在试,像我们这样每天都在试不同的提示,因为我们可以用自然语言自己形成一个抽象的层次,它的知识结构,我需要它做什么样的推理?人大概有六种七种推理方法,推理好了以后我希望它做什么样的规划,怎么样执行框架,这个探索空间实在太重要了,因为人类历史上从来没有过让自然语言、让我们每个人可以有一个开发对象,可以有一个开发机制。当然现在还有做的不够的,今天的framework(框架)不太稳定,Black magic,需要更完整、更可靠、更稳定。但这只是时间问题,一定会发生变化。

有了上面这个之后,我们要有开发对象。尤其是运行时,运行时特别重要,没有运行开发出来的代码怎么见到结果。今天运行时有两大类:后端,云上做服务,大部分都是在后端云上做开发,Model As A Service,原来是SAAS,逐步变成MaaS,这个主流很多;前端,目前做的最多的是Web端,像Vercel、Chrome extension,这些做的非常非常多,基本上大部分都是在Web端。但是,要大模型真正改变我们的一切,让模型无处不在,它必须在手机端,必须在ROT端。在手机端非常微妙,我个人一直在关注这一点,大家想想为什么微妙?开发体系一直没出来,首先,苹果,开发任何应用他都抽30%,他自己在这方面也在思考该怎么做,苹果在历史上做人工智能、做算法方面一直是他不够强的地方。另外,谷歌他有他的自己的目的,如果在安卓上面做,他显然要把Bard塞进去,要把他自己的东西塞进去,他不是一个没有偏向的一个Player。那如果要在手机端、移动端上开发一个繁荣的开发体系生态,我认为是有新的机会的,看有特殊想法的大厂,拥有技术创业者,其在移动端开发上找到新的、更繁荣的开发的路径。还有最后是ROT段,因为最终大模型必须要在每个端口都能够落地,有大量的长期的机会。

还有开发者生态,我看在座的有一些是“码农”,“码农”就知道我讲的什么意思,不光要这些东西,还要有课可以去看,吴恩达的课,O'Reilly(出版公司)的课,他的新书还没出来。某种意义上判断某个软件产业、信息产业,就看O'Reilly的书有多少。我预计会有一大波这种书出来,同时,论文和论文所附带的代码和数据,GitHub DeepRibo,每天出来一大堆新的论文、新的数据、新的代码。

这些加在一起,决定未来发展速度和发展宽度,就在这个开发堆栈上。谁抢占开发者心智,抢占开发者平台,谁就掌握着未来大量的发言。大家可以看出OpenAI是怎么做的,微软是怎么做的,这是兵家必争之地。

2.5、新产业发展不断加速(海外)

在新的时代,产业发展速度实在太快了。我们做了大量努力,我们自己每天都在更新大模型日报等等。这一页上面列举了今年2023年五个月当中我们关注的新的代码、新的技术、新的论文、新的产品、新的投资案例,我们今天计算了这些指数,把曲线画在上面。大家可以看一下哈,首先是论文的次数,这次你必须关注论文,不关注论文过不了这个坎第二,你当然要关注产品,同时资本生态的投入,关注投资案例。我们这些数据大家可以看下,这些数据都是我们奇绩团队和奇绩实习生做了大量的努力计算出的,我们还不断的在思考和探索,用哪些指数可以看到它的发展的趋势、发展的速度、发展的信号。根本上这一次范式的扩散、它的宽度、它的广度、它的力度、是我们过去从来没有的,没有感受过的,我们需要不同的想法、不同的手段才能跟得上

2.6、新产业发展不断加速(国内)

下一页是中国的,大家可以看一下,我们(国内)现在的活跃度越来越高,在追赶,但是我们的整体数量跟国外比还是有相当大的差距。这里还有一个重要点,我们画了标了红色的框,就是奋气直追的团队。这里有MiniMax、有商汤、有王慧文、王小川、李志飞,有澜舟、有李开复、有阿里、有百度等等,综合在一起,反映出中国今天产业发展的一个快速攀升的状态。

这个时代,它在扩散,这一页也挺重要,跟同学们分享一下。技术驱动人类进展,它的扩散是有范式的。左上角是很典型的范式,这个在《跨越鸿沟》这本书里面用的很多,任何一个技术驱动新的产品、新的产业,它都是这样的过程。它的Y轴早期是用户数或者是Revenue收入,X轴是时间,它都是早期尝鲜的人、早期有愿景的人,然后有个鸿沟,一大堆公司 “死掉”,跨了鸿沟之后公司活下来、高速增长等等,都是这样往下走。但这一次的扩散,它的源头不一样,它的源头是我前面讲到的思考体系和方法,是OpenAI所代表的。你要在源头扩散,必须有这三个小圆圈第一,必须自己做研究,你要站在科研的前沿,你能够发明崭新的算法,新的架构体系,你必须能够自己做科研,OpenAI是自己做科研。第二,你必须能够写代码,写出高质量代码做infrastructure(基础结构),开发大量的体系第三,你还能做平台、还能做产品、还能做商业化,只有这三个在一起,你才能在前沿去做扩散。同时,论文为什么重要,它必须不断的吸收相关的核心的计算机科学、认知科学、脑科学等领域的相关研究、基础研究和应用研究的论文,进入这三个小圆圈。

同时,这次扩散跟过去不一样,政府一般都很后面才进来,(现在)政府很快、很早期就进来要参与了,所以这一次的扩散,它的范式结构跟过去都不一样。同时,这次扩散从国家地域上,全球主要是美国(北美)和中国。

另外,这次扩散影响每一个人,不像其它技术。个人的行为很重要,创业者、创作者、“码农”、科学家都在不断的学习探索实验。去用这个新的工具,因为这一次的认知能力工具会把人和人之间距离拉开。我这里强调一下,这一次会把人的距离拉开,所以这次扩散跟个人强相关。聪明、勤奋、努力,学会用这个工具的人,你跟你同一档次的人很快会拉开距离,当然也很容易掉伍

再下面是产业的扩散,这里是示意性的,每个产业扩散都是这样。下面(x轴)是时间的长度,长周期的产业、短周期的产业,高度(y轴)是用户多少或者市场体量有多少,只是示意性的。我们看到每一个产业都在早期,进入扩散状态。最后,这一次的扩散,Gartner(咨询公司)的这种曲线都还不适用,Gartner公司的Hype Cycle(预测模型)曲线只是适用一般一个技术。这次扩散更适用的,我们认为是Carlota Perez,叫Techno-Economic Paradigms,这个作者叫Carlota Perez,是一位经济学家,她也很有可能得诺奖,她的经济理论被大量的公司所用。她的核心理论是说,如果一样技术像冶金、像高速公路汽车影响每个人整个社会的,它都是80年的周期,分四个阶段,爆发阶段、狂热阶段、泡沫破灭到协同成熟今天的数字化云和互联网基本上过了前40年,后面还有40年获得经济利益,但原创性基本上没有了大模型为先的时代还在早期,将高速增长,一定会成为泡沫破掉,泡沫之后是新的黎明,新一代更强的企业,能够从泡沫当中活下来的企业,未来都占据至高点。Carlota Perez有一本小书,就是这个名字,叫Techno-Economic Paradigms,这本书有点难啃,但是适合我们怎么看这次范式它的扩散是怎么走的。


3、新机会

好,前面讲的都是这个时代它的大的格局。看到这个发展趋势和格局之后,那我们分析一下我们怎么去把控我们的机会。

3.1、全方位探索把握:技术驱动创新内在的“人+事”机会空间

我们想给大家提一个系统性的、全方位的如何去探索和把控好我们的机会(的意见),这里画的这张图是人和事系统性的去探索,我们画的是针对创业公司。 “人”,就是核心创始人团队,他的心力、愿力和能力,团队是通过引入新的人才、组织、文化等粘在一起,形成一个越来越强盛的人的体系。“事”,早期就是不断的开发能力、技术能力、产品能力、交付能力、增长能力、商业价值能力、获取资本能力,长期去实现它的价值空间。早期做的产品叫碗里的,后面延伸出来叫锅里的产品,最后是用内在的内核去探索田里的商业价值。这是我们针对创业公司(做的图),但是这里非创业公司也同样可以用这张图,因为任何人类有组织的追求它的结构都一样,这个问题我过去研究过很多。不管是一个大的企业、一支军队、一个国家、一个球队,它结构都一样,只要有目的去组织人去追求这个目的,它内在结构都一样。你懂管理一类人类组织,你就懂管理另一类人类组织。所以这个结构大家可以引申出来,如果你不是创业也可以做参考。

首先,我们给大家提的是在今天这个阶段第一,要做的是不去蹭热点,轻浮本身就不好,尤其是在范式变更的情况下,轻浮的机会代价更大。因为你蹭热以后,如果是错的,那跌的跟头跟一般的跟头是不一样的,所以千万不要去蹭热点,想明白再做。第二,勤于学习,这次新的范式它根本上是复杂的,专业性比较高,发展速度非常非常快。学习是避免不了的,(不学习)过不了这个坎,我跟很多同学讲该看的论文你还得啃,一遍啃不下来就啃两遍,只有这样才能真正理解这个范式对你意味着什么。(第三)同时要克服惯性思维,大家可以看一本书,Thomas Kuhn写的《科学发展的范式》,一般大的范式,过去的人大部分都过不去,没法克服太强的惯性思维,包括深度学习,这次有很多过去做机器的学生就没过来,(这是)不同的思考体系。所以一定要在学习的同时尽量克服惯性思维,同时必须深思熟虑,因为这一次的范式变革影响我们的方方面面。最后(第四),一旦想明白之后,必须行动导向,因为这一次的变革不进则退,原来的位置守不住,你只能行动。想明白之后,果断采取行动,不进则退。

3.2、全方位思考探索:“事”的机会空间

接下来我们讲下“事”怎么做。“事”对一个创业公司来讲、对一个企业来讲,有三个维度第一,今天的产品和你做的生意有没有新的机会?该怎么去探索?第二,你所在的产业是不是有根本性的变革?你应该占个不同的坑?第三,你所在产业它的研发体系、它的能力是不是彻底变更了?要换一个全新的思路去做你想做的事,分上面三个纬度。

3.3、事的机会板块:完整和系统性的机会探索框架

我们给大家一个系统性的框架,这框架是上图这样,有三个机会板块在我们奇绩体系里面,我们用这一切指导我们所有的投资,所有的创业公司跟创业的创始人做交互都是用这个体系。第一,人基本上就是认识世界、改造世界,人是一个减熵的物种第二,我们用数字化来延伸我们,所以数字化是机会的一大块,数字化产业是一直驱动整个这个阶段的人类进步的。数字化里面分两个子板块,一个是基础设施平台,另外一个是数字化的应用数字化之外是改变世界,能源、生命科学、材料科学、空间,所以(图中)是一个完整的、系统性的去探索事情怎么做。

这一页我们把一些核心细节放进来,主要是对数字化的应用和数字化的平台。数字化的基础永远是平台驱动的,塑造的应用我们可以系统完整去探索,因为可以把C端分成人群、分成时长,我们可以把它分成一格一格的。B端需求基本上的稳定,我们可以系统性去探索,因为数字化只有六种affordence,一会跟同学们分享一下这六种affordence。

首先第一个affordence就是二维的信息,数字化是纸的延伸,这个数字化的能力基本上触达了每一个品类了,我们每个人基本上都用电脑、用手机,它触达所有的人。第二,是三维的体验,把它叫元宇宙,目前只有少数的品类游戏、社交有。第三,数字化的抽象关系、所有权、激励机制,叫Web3⑳,这个还早,货币,DAO等等。第四,数字化驱动的物理环境的交互:自动驾驶、机器人第五,数字化嵌入人的身体内在的脑肌接口,内部测试的机制,这个也是指少数。第六,最后一个,数字化带来的知识是嵌入的,到处都可以用。所以这一次我们创新的空间,基本上是用二维的信息加上嵌入的知识,去找所有可以应用的类别,探索我们的机会

3.3.1、数字化基础

3.3.1.1、数字化平台结构

接下来我们讲一下数字化的基础有哪些机会。首先数字化基础机会,它是一个稳定的、可以探索的结构,数字化稳定结构是这样:首先,数字化永远是平台驱动的,做平台的最多是微软公司,他们有一个比较完整体系。我在微软呆了不少时间,这是我总结出来的(图上),前端是可延伸的、能体验,它有设备、有容器、有画布,后端是完整可延伸的能力,计算、存储、通讯。大家要关注一个点,万亿美元的公司都在前端做设备、做操作系统,它是价值的控制点底层的基础设施是计算体系、是芯片、是基础服务、是开源的代码等等

3.3.1.2、大模型时代新一代基础设施和工具

在今天大模型为先的时代,基础有大量的机会。某种意义上,从投资和创业者角度来讲,这是最容易赚钱存活的地方。举个例子,在淘金时代(1740年)去加州淘金,淘金者会死掉一半,但是卖铲子的、卖勺子的人活得很好,就像(大模型)这个生意。因为在大模型为先的时代,我们必须要有一系列新的算力、新的基础设施,这是一定要有的,它门槛有点高,你能创业,虽然做这生意会有门槛,但是一定有机会

首先新的有效算力,今天都是基于GPU,但系统架构有其他选择,长期会趋向于像Data Flow(数据流)这种架构,需要时间,但长期的机会非常非常大。第二,前面讲到的新的算力,可能我们根本就不需要服务器这个概念,我们需要的是几万张卡连在一起的能力,比如Infracore(基础堆芯)就是我们这一届创业营的一个创业公司(清华的团队),就是RDMA,在以太网上连接起来叫RoCE。第三,训练系统、微调系统、推理系统、基础软件,比如像王慧文并购的OneFlow等等。第四,数据体系尤其是Embedding㉑、数据库检索体系,因为过去这个时代一个好的生意就是卖数据库、做检索,有Oracle(甲骨文公司)等等,在这个时代一定是这类公司,大家关注投资生态的话,他们融钱都融得非常非常快,像Pinecone㉒、像Zilliz㉓都非常非常强。第五,开发工具一定有机会的,这里我们要关注的是,今天GPU开发的工具都是从原来图形学延伸出来的,下面都是shader(着色器),现在上面用CUDA,英伟达的体系。但是,OpenAI它推的是Triton,Triton是他并购的一家公司,他们做了五年多了,是新的语言,这个语言能够把并行算力用得更有效,可以绕过原来shader的那一套,可以绕过原来CUDA的那一套。所以从创业角度来讲又有新的机会。当然(第六有开源的体系、开源的数据集、开源的论文等等,有大量的机会,而且非常非常重要。

3.3.1.3、大模型时代的新平台

同时,在数字化基础当中,更大的机会是平台。前面讲过了,有前台和后台,商业机会非常非常大。在这个平台我们把中国和美国作为示意列出来了,美国是OpenAI,还有几个创业公司:有谷歌、有微软,中国有百度、阿里、王小川的百川智能、王慧文的光年之外、MiniMax等很多这类公司。大家可以设想一下,十年以后它的体量有多大?今天谷歌是一个万亿美元的公司,(新的平台)不只万亿美元。虽然成功概率不一定高,也会一路艰难,但是你有能力,这是非常值得去探索的机会。这个平台,它的体量实在太大了。

下面讲一下在这个基础时代还有新的机会是新的硬件设备,因为在大模型时代,硬件的体验将不一样。有个比较有典型意义的是有一家公司叫Humane,它其实已经有点年份了,过去一直没找到好的产品,是苹果出来做硬件的团队,他做了你戴在身上的硬件,这个硬件它能看到你所看到的一切、能听到你所听到的一切,它不断的帮你思考。这个比手机更管用,手机没法照所有的一切、听所有的一切,手机不能每时每刻帮我想问题、帮我思考、帮我梳理。现有的软件也可以有新的体验,如果你有眼镜、有头盔。今天眼睛看到的信息,以后看到的是知识、看到是模型:这里是这么回事、这个人不靠谱,这是新的体验端、新的操作系统、新的生态。

3.3.1.4、第三代系统(自主化和自动化大模型平台机会)

同时,第三代系统:自动驾驶、机器人、空间计算组合的机会也加速到来,它需要新的硬件、新的算力、新的开发体系、新的模态,用大模型来驱动下一个拐点的机会一定会有。自动驾驶有新的机会,为什么?我跟同学们稍微讲下自动驾驶为什么有新的机会。今天自动驾驶已经做了十几年了,但今天的自动驾驶体系是以视觉为主的,开车很累,我们人开车一点都不累,轻轻松松、听听音乐、讲讲话,为什么我们开车不累?因为我们有语言,我们能零样本范化。我举个例子,我们在路上开车,看到前面有一个老人举着一个奥林匹克的旗帜走过来,我们零样本范化,老人离我还早着呢,我根本不用担心,我慢慢开过去到那边,绕过去就行。但是今天的自动驾驶系统软件,它会紧张的不得了,因为它从来没见过(老人+旗帜合在一起),它不知道这东西是啥,它离我有多近?我撞上去怎么办?它没有这个范化能力。所以(大模型时代)我们有全新的机会,用新一代语言模型带来的泛化能力打通模态,当然用大模型驱动新一代的机器人也有很大的机会。机器人和自动驾驶将是人类最大的两个产业,即使在我们奇绩,我们这一届有60个项目里面有很多是做机器人的,有好几个创业者都在朝这个方向走。

3.3.2、数字化应用

3.3.2.1、技术推动+需求拉动

前面讲的是数字化的基础,接下来我要讲的是数字化的应用,数字化的应用有两个重要的点,找应用一定是“技术推、需求拉”,一定要技术和需求相匹配才行。模型能封装所有的知识,这次的技术它覆盖所有的需求,你要判断的是这个模型是不是足够强、模型在你这个领域发展速度会不会很快,假定你是医疗、假定你是健身、假定你是教育,你得判断下这个模型在你的领域,它发展速度是不是会很快。另外这次“需求拉”,一定要找到需求,对知识、对模型比较敏感的这种需求。同时,我跟同学们一定要强调这个概念,在这个时代,你一定要做大模型为先的产品。

3.3.2.2、大模型为先的发展过程

我解释一下为什么大模型为先首先人类需求它本质上也是三位一体的任何一件事情我们既需要信息,又需要知识模型,又需要行动来满足我们的需求。比方说电商,今天都是用的信息,模型几乎没有,我们每一次看我这个领域里面信息有多少,模型能有什么样的模型,行动能有什么行动,一定要做成一个三位一体的,这是大模型为新的体验,一定是要三位一体的考虑。第二,大模型为先的时代的产品,我强烈建议用自然语言,这是你的机会,因为我看很多同学做产品,信息时代的惯性太大了,做出来东西就是用手机打开、看了一大堆文字、看了图片、看了视频,给我的都是信息,NO!这是过去,今天起步得是自然语言交互,起步得告诉我你懂什么东西,你跟我怎么交互,有机会行动导向,信息只是提供了个基础,三位一体是终局,如果你的创业赛道有机会三位一体,你必须抢先进去,不然不是大模型为先。在微软我跟Satya聊,他讲的也是这一点,微软为什么要选这个词:we pivot the company,公司要pivot,万亿美元的公司要pivot,因为微软每个产品必须要重做一遍、重新构思一遍,要大模型为先来设计这个产品,不是信息为先。同时很多同学都问我这个领域能不能做?你一定要考虑你这个领域、这个生意有没有壁垒?这里有个简单的范式,你可以做的生意是:第一,你自己有数据;第二,你可以自己开发模型,你可以用大模型来开发模型;第三,你的模型被使用之后,使用的数据你能拿得到,使用的数据回过来有个闭环,你的自有数据越来越强。如果你有这样一个结构,你这个生意肯定可以做。所以大模型为先,三位一体的体验和闭环,数据——模型——使用闭环是这个时代一定要做的。另外,我们给大家一个基本的范式,在大模型为先时代怎么考虑运用起来,技术上考虑三个点:第一,模型在你所在的领域,它进展的速度是高还是中还是低,有些领域模型开发很难,需要收集新的数据,很贵,有些领域模型很快可以开发,你得判断高中低;第二,你做三位一体的体验的机会是高还是中还是低,如果你能做三位一体,赶快做,你抢占长期的一个制高点,终局是三位一体;第三,大模型时代,在你所在这个领域,是不是把你所在的领域研发体系每个环节都颠覆掉了,你必须考虑重新怎么你这个产品。这是我们给大家一个简单的框架,在每个应用里你要这样考虑。

3.3.2.3、大模型为先之下的“需求导向+三位一体”

接下来跟大家讲的是在需求端,每个领域有每个领域的需求,对信息要判断信息机会有多大,比方说金融主要是个信息产品;有些领域信息不是那么重要,它要的是模型;有些领域要的是行动,比如锻炼身体,过去互联网健身为什么做不好?健身主要还是要行动,我要把重量降下来,你光给我信息有啥用的。所以要看每个领域模型的重要性,行动的重要性。有了这两个判断之后,我们就给大家一个框架,这两个三角形,这是我们的判断或者是我个人的判断,不一定对,都在变化。

3.3.2.4、微观层面的机会洞察:数字化满足人类需求的视角

首先讲一下人的信息需求,我们都要用搜索引擎获取信息,为什么大模型时代第一枪是开在搜索引擎上?为什么是Bing VS Bard?因为搜索引擎本身是最接近大模型时代的产品,它是个大模型。但是搜索有两大类搜索将完全不一样,你去搜索引擎一部分是找信息,这个不会变;另一部分是解决问题是下载一个东西,去打个电话,这一切都会变,广告模式不一定成立;第三类搜索需求是知识探索,去回答问题,为什么中东和平这么难?你输入关键词后看五篇文章,接下来就叫ChatGPT、叫Bing给我总结成三条就解决问题了。商业模式是什么?是订阅?知识付费还是什么?有勇气的探索者、创业者,美国也有,中国也有。美国已经有几家搜索引擎了,现在做搜索融钱都很容易,这是崭新的机会。

内容,我们认为是一切都是颠覆性的,因为整个生态体系都变了,覆盖了所有的一切。早期是内容的分发、内容的营销,最终长期一个关键问题,头部的PGC大模型是不是能做?这个有争议,可能还是人要做,真正还是要艺术家,但是大量的工作都会被替代掉,都会被提升,都有大量放大每个人的能量的机会。

游戏,我们认为这个行业将会彻底重新改观。因为游戏这个行业,(第一)它研发体系的五个核心环节都将不一样,将是一个崭新的研发体系第二,游戏的体验也将完全不一样,今天我们在创业公司上已经看到,你可以生成资产、生成场景、生成整个游戏,不光生成整个游戏,还生成NPC,不光生成NPC,还生成NPC之间是怎么动的,本质上生成了一个世界游戏是数字化的孪生,我们一直看好这个赛道,机会非常非常大。

消费电商机会有没有?我们的眼里一定有,为什么?今天的电商是个很大的品类,但是我们看都是信息,对吧?看到的都是产品信息、产品页,但我要买东西好的消费体验是什么呢?假定说我去夏威夷度假,我想买一个鞋子、买顶帽子,一个好的体验是老板跟我说夏威夷适合这种帽子、适合这种鞋,分别适合你的一家四口。一个好的老板是懂模型的,这种消费体验以后都是场景性的、知识性的、conversational(会话式)的,颠覆性的机会自然有,带来更好的体验

社交有没有?历史上都有局部的机会,为什么?只要有新的内容,好的模型就是新的内容,假如说我有五个模型,它交我怎么炒股票、怎么找好的工作、怎么讲好的笑话等等,这个模型在微信上不准分享,要分享必须另外邀请好友,那你不是重新建立了个新的社交图谱了吗?对吧,历史上游戏规则一直是这样,如果你有一种好的内容,你就有可能重新建立社交网络。同时社区,我认为一切都有改变的机会,比如说美国有个社区叫Quora,就是美国的知乎,它的创始人叫Adam D' Angelo,他在OpenAI的董事会上,大家可以关注到Quora产品几个月之间全部变掉,都是对话机器人不再去看一大堆文章了,为啥看文章?我问问题不就可以了吗?我要的就是知识!机会可以系统性探索。

通讯,非常有意思。通讯是搬用信息的产品,比如腾讯会议等等,今天这些产品没有任何模型,假定说有10个人开会,这边3个,那边7个,开完30分钟之后他什么都不知道,这里有三个销售团队,他卖数据库,那边是一家车企,他对价格不满意,对这里性能不满意,30分钟开完之后,所有的总结都给你分析好了,给你一大堆知识,给你一大堆模型。

医疗更不用说了,医疗是三位一体的,医疗必须采取行动,有病光给我信息没用,光给我模型说你为什么得病也没用,得给我吃药!得给我开刀!它必须三位一体,三个维度都有大量的机会,诊断、开药方、写病例,用对话,每个护士都有Co-pilot,每个医生都有10个Co-pilot,每个诊断、每个治疗都是专业模型,都可以用大模型做得更好,每个手术、每个自然流程都可以用机器人:服务机器人、手术机器人。这三个维度加在一起,10年或15年或20年以后,我们将有希望重建一个医疗体系。这很强大,尤其在中国,中国医疗本来就供需不平衡,可以做得更好。

教育,非常非常核心,挑战很大,机会更多。可能有同学看了Sal Khan Academy创始人在Ted的演讲(一个礼拜前),Khan Academy是OpenAI的战略合作伙伴,大家去想一想,用大模型可以做一对一的教师,可以让每一个小孩个性化的学任何概念,大学、职业培训有大量的机会。它是根本性的,一个国家、一个地域,只要教育好,一切都会好。

开发者,这个非常非常特殊,OpenAI和微软都非常重视。核心是人类历史上从来没有用不同的语言(用自然语言),不同的抽象层次、不同的开放目标、不同的价值点,让每一个人都能开发软件,这是这次所代表的。

设计师,一样的机会。早期是创意阶段,二维的设计、三维的设计、视频设计等等,长期发展是每个设计环节都将用模型自动或者帮助人做得更好。

科研,这是最根本的。每个科学家将有很多副驾驶员和正驾驶员,每个科学实验都可以逐步做到自动化。更为重要的是在大模型时代,我们科研探索方法将用数据驱动、用计算驱动,不再一个一个的解决科学问题,而是一类一类去解决。让大模型去产生新的、涌现出来的新的推理能力。

OA(办公自动化)办公,不用多讲了。微软、中国的金山跟企业合作都在探索。

营销和客户有大量的机会。Salesforce有EinsteinGPT,Adobe有Firefly,因为营销是离钱最近的,大模型可以把每一个营销环节做得更好。

ERP(信息化管理)也一样。ERP是历史更久的一个产业,也是个重模型的产业,这个模型都是人建的,都不好用,都僵硬,这次有机会彻底改变ERP模型的体验,让每个ERP都可以直接做到三位一体,更好的服务好企业

生产制造。下一个时代,用机器人服务、自动驾驶加空间计算组合在一起,每个工厂、每个生产环节,包括农业,都有系统性的机会。

城市也一样。城市的数字化、信息化,办公也可以,城市的模型化,数字孪生有局部的作用,但是不够强,真正能用的是大模型时代,用原位数字化、用更强的模型能力、更多的交互能力。自然语言交互,让城市管理每个角落都能够精细化的落地。园区GPT、城市GPT只是一个时间问题,都会发生。

3.3.3、改造世界

3.3.3.1、新能源科技

新的能源。用刚才讲都数字化的应用,用数字化去改变世界,首先要有能源。新的能源,可自动化驱动,但是大模型在方方面面都能越来越直接的驱动新的能源。首先,能源体系的规划和运营,大模型一定有非常多的用武之地。第二,能源体系的研发,可以应用大模型。第三,长期核心技术的研发,大模型的切入只是时间问题,已经有越来越多的大厂和创业公司在积极探索新一代能源和大模型相结合,驱动创新的机会。生产规划GPT、电池设计GPT、能源管理GPT、碳交易,最后是一个大的社会协同生态,一定会跟大模型有非常融合的契机。

3.3.3.2、新生命科技

生命科学更直接。大家可以想一想这一次深度学习革命,这次大模型时代,本质上它的机理跟生命体系的计算体系、跟碳基非常非常接近,内在结构是类似的。这里的机会非常非常多,尤其是结构设计,用数字化驱动做筛选、用数字化驱动做各个环节的生产,更为重要的是用大模型,核酸一级的大模型、蛋白一级的大模型。不同的维度,有根本性意义上驱动这个产业往前走的机会。

3.3.3.3、新材料科技

材料科学,它的方向也一样,它更是产业驱动的。我们已经有材料基因,用大模型去驱动不同材料结构的设计、性能的设计,用数据驱动、计算去探索新的材料体系、新的材料表征等等,同时材料科学、材料体系也有大模型的机会。用大模型系统性的更有效的去探索新的材料,包括用大模型系统更模拟体系、跟今天一些重要的计算体系,比如说势能函数等等相结合,更强的去驱动创新。

3.3.3.4、新空间科技

最后是空间。空间在地面上自动驾驶,在水里、在低空、在轨道空间,在轨道之外的指数空间都有新的模态、新的数据,遥感通讯等等。最后,人类在更远的空间、其他的星球建立人类的探索基地、发展基地,这些都跟大模型有强相关、创新的连接,有非常非常系统性的探索的机会。

3.3.3.5、新执行环境

讲“事”的机会的最后,在大模型时代每个企业的执行环境不一样,比如说马太效应会加剧。OpenAI是用GPT4来做GPT5,他的每一个“码农”、每一个数据分析师,他们的能力都放大了很多很多,大家可以想象一下滚雪球先行优势有多大,竞争的格局不一样、壁垒不一样、知识产权保护不一样、国际化格局不一样、社会关系不一样、社会责任不一样。我们每一位同学、每一个企业都要关注新范式的执行体系。

3.4、全方位思考探索:“人”的机会空间

好,我们把 “事”的机会都讲完了,最后简单讲一下“人”的机会。我们针对创业者、针对创始人、其他的一号位,如果你是某个企业的一号位,某个机构的一号位一样,对个人来讲,越来越重要的是愿力你是不是对未来有一个独到的见解,而且你有很大的心力可以坚持不懈的追求这个愿景,能力也重要,但是写代码的能力时间长了以后越来越不重要,设计芯片的能力时间长了越来越不重要,你的能力是学会工具的能力和使用工具的能力OpenAI的成功就是一个典型,强大的愿力、强大的心力,能力他比其他公司能力强吗?不突出,他突出自心力和愿力。团队是探索的方向、探索的能力、集体探索的能力。人才的培养是思考学习、是新的职能设计,这一次人和人之间距离、团队和团队之间的距离会拉大,培养非常重要。在组织上一定要提前布局,积极探索和打造未来需要的能力、价值观、社会责任等等,这是对我们每一个人和团队上的一个考量。

3.5、时代的机会:技术驱动发展带来的职业趋向

最后两页我跟同学们分享一下,这几页挺关键,这里跟前面讲的都连接在一起。这张图我是几年前在美国互联网上找到的,之前找到英文的,后面我把它翻成中文,这张图所代表的是什么,是职业的去向,我建议每位同学都要考虑一下,因为这是生产力和生产关系、社会关系都决定造成的。在每个不同的历史阶段都有一个职业,它把风险算进去之后,它是创造财富最多一个职业,因为不同时代它的生产力不一样。曾经打猎是最赚钱的,曾经武士能够打仗是最赚钱的,上个世纪在华尔街能够买卖公司是最赚钱的,这个世纪,毫无疑问创业是创造财富最大的一个职业,要对得起自己,要考虑是否要创业。同时,我看到这张图当时就问下一个(创造财富)职业是什么呢?答案已经有:科学家、研发者。但是是OpenAI这样的科学家,是既能够做科研写论文,又能够写代码,又能够做平台,是新一代的科学机构,是新一代的科学范式,这跟科学的第四范式㉔、第五范式㉔是强相关的。所以同学们一定要考虑,今天创业非常好,接下来3年、10年、20年、30年、40年、50年,新一代的科学研发将是更好的职业,这跟我下一张有关。

3.6、时代的机会:基础范式的演变

这一张是时代的机会,(这一页我重新编辑了下,改过的好像没拿来,这张ppt有几个地方没改),这一页想讲的是职业范畴给大家职业带来的机会,这里想讲是什么,是范式的变化给我们每个人带来的一个大的机会。首先,我们前面讲了科学进入第四范式和第五范式,我们得回答一个问题、一系列问题。今天谁在引领信息科学?这个问题十年前已经很明显了,不是一流的大学、不是国立实验室,是大厂、是微软、是谷歌,毫无疑问。我们再问问题,今天谁在引领信息科学的皇冠上的明珠:人工智能?已经不是谷歌,也不是微软,是创业公司,是OpenAI,是DeepMind今天谁在引领空间科学?不是NASA,不是波音,是个创业公司叫SpaceX。这些是为什么?同学们想过没有?结构性的原因!科学的范式,如果需要数据、需要计算来发现新的科学现象,它跟商业化分得开吗?接下来我们看到的趋势是任何一个科学领域都在朝这个方向走,越来越多大学的体系长得像个基金,每个教授越来越像一个基金里面的GP(普通合伙人),大的趋势非常明显。今天这个范式是1944年建立的,美国有个人叫Vannevar Bush,罗斯福总统叫他写了一本小册子,它叫《科学:无尽的前沿》,它里面核心说的是怎么发展科学,是国家联邦政府收税把钱给国立一系列的研究型大学,研究型大学里面做基础研究、做应用研究,教授带着研究生。当时美国国会争议最多的是到底谁决定研究方向,最后是科学家来决定,历史上(证明这是)对的。这个体系造成的是什么呢?我们有很多基础研究在大学里面做,发了论文,这个人可以在学校呆 20年,然后有人做应用研究,又发了对论文,又可以呆10年,有些大厂看这个有点用,我拿出来把它做成技术,或者有些开发产品人说这个技术有用,我去做产品,产品做好以后营销端的去卖给用户,技术驱动社会进步是这样一个流水线。但我们今天看到是开始倒过来了,前面讲到YC体系、OpenAI是一个需求拉动为主的一个体系,我们今天看到的是越来越多创业公司不光做应用研究、它还要做基础研究,但是它做研究的同时是又开发技术、又开发产品、又做商业化,它是三位一体的。这个体系的好处是什么?我们人类历史上从来没有过一个探索新机会的体系,它是无缝不入的,无处不在的。它是投资机构、它是创始人,他看到机会、他融到钱,他就进去了。我们需要的是有抱负、有远见、有愿力、有心力、有能力的人,找到好的资金和资源的扶持去系统性的探索这个机会。这个范式的变更给我们带来时代性的、职业性的机会,对我们每个人都有深远的影响。

最后:可以加入奇绩社区;创业九死一生;一个创业项目,它更需要的不是钱,是算力,它更需要的是数据等等。


附录:

①范式:一种理论体系、理论框架。

 

②第一性原理:不是通过类比来推理,是回到本质。

 

③空间计算:空间计算技术可以参照现实的物理世界构建一个3D立体的数字世界。它是现实的物理世界与3D立体的数字虚拟世界之间的映射,以实现更广泛的应用和创新。

 

④通用智能必须拥有四个核心的纬度:第一是涌现,第二是代理,第三是功能可见(affordence),第四是具身(embodiment),每一项代表什么我不太懂,没有检索出来,请大家补充。

 

⑤增强学习(Reinforcement Learning):一种机器学习方法,模型通过与环境的交互来学习最优策略,以最大化累积奖励。它类似于训练一个智能体,在尝试不同的动作后,根据环境的反馈调整策略,以获得最好的结果。例如,训练一个机器人玩游戏,它通过不断试错来学会如何取得更高的分数。

无监督学习(Unsupervised Learning):一种机器学习方法,模型从未标记的数据中自动学习模式和结构,无需人工标签。它探索数据的内在关系,帮助揭示隐藏的模式和特征。例如,聚类算法可以将相似的数据点分组,无需预先告知模型每个群组的标签。

简而言之,增强学习关注如何在交互中学习最佳决策,而无监督学习关注从未标记数据中发现模式。

 

⑥预训练(Pretraining):在大型数据集上训练模型,使其学会语言结构和常识。这样的模型具有初步的语言理解能力,但还不够具体或准确。

微调(Fine-tuning):将预训练的模型在特定任务上进行进一步的训练,以使其适应具体任务的要求。通过微调,模型能够在特定领域或任务中表现更出色。

泛化能力(Generalization):模型学习从训练数据中获得的知识,能够将这些知识应用于从未见过的数据。良好的泛化能力意味着模型能够在新情况下做出合理的预测或决策。

指令微调(Prompt Engineering):为了引导模型生成特定类型的回复,我们可以通过设计清晰明确的指令来微调模型。这有助于控制模型的输出,使其更符合特定任务的要求。

多模态(Multimodal)指的是在一个系统中融合了多种不同的信息来源或数据类型,如文本、图像、语音等。多模态方法旨在将这些不同的数据类型结合起来,从而提供更丰富和全面的信息来增强系统的理解、分析和表达能力。

 

举个例子:假设我们正在开发一个情感分析模型,用于判断电影评论的情感是积极、消极还是中性。我们可以采取以下步骤:

预训练:使用大量的文本数据训练模型,使其学会一般的语言理解能力和情感表示。

微调:将预训练的模型在情感分析任务的标注数据集上进行微调,让模型逐渐理解积极和消极评论的特点。

泛化能力:经过微调的模型应该能够在未见过的电影评论上进行情感分析,准确判断评论的情感,而不仅仅是记住训练数据中的例子。

指令微调:如果我们希望模型根据不同的指令生成不同风格的评论,我们可以设计特定的指令,如“写一个积极的评论”或“写一个消极的评论”,然后微调模型,使其根据指令生成相应风格的回复。

多模态:多模态情感分析可以同时考虑文本和图像内容,从而更准确地判断情感状态。

 

⑦Token :文本处理中的基本单位,可以是单个字符或单词。在自然语言处理中,文本通常被拆分成多个 Token,以便计算机能够理解和处理。每个 Token 代表了文本中的一个基本意义单位,可以是字母、数字、标点符号,或者是一个单词。Tokenization 是将文本切分成 Token 的过程,为后续的文本处理和分析提供基础。

 

⑧潜概念(Latent Concept)是指存在于数据中但不直接观察到的抽象概念或特征,通常需要通过数据分析或模型来揭示。

子概念(Sub Concept)则是指在一个更大的概念之下,更具体或更细化的概念。

在许多数据分析和机器学习任务中,探索潜在的概念和子概念可以帮助我们更好地理解数据的结构和关系,从而支持更准确的模型构建和预测。

 

⑨“对齐”或“对齐研究”是指整合不同数据、模型或知识,使它们协同工作以提高系统的效能和准确性。这有助于确保各个组成部分相互协调,共同完成任务。

 

举例来说,考虑一个医疗诊断系统。系统需要结合病人的医学历史、实验室报告和医学影像数据,来提供准确的诊断。在这种情况下,对齐研究会涉及将不同类型的数据进行协调,确保它们在同一语境下解释。这可能包括将实验室数值与诊断文本对应,以及将医学影像与病人历史资料相联系。通过对齐不同数据,系统可以更准确地进行诊断,为医生提供更好的决策支持。

 

⑩Softmax:一种数学函数,通常用于将一组分数(得分)转换为概率分布。它将每个分数转化为一个介于 0 到 1 之间的值,使得所有值的总和为 1。Softmax 在分类问题中常用于输出层,将模型的原始分数映射为各个类别的概率,从而选择概率最高的类别作为最终的预测结果。

 

⑪鲁棒性:指的是系统对于干扰、噪声、异常情况或不确定性的抵抗能力。一个鲁棒性强的人工智能产品能够在面对各种不良因素或未知情况下,仍然能够保持稳定、可靠的性能。这种性能的稳定性和可靠性是确保产品在现实世界中实际应用中有效运行的关键要素。

 

带宽:通常指的是系统或网络传输数据的能力,即单位时间内可以传输的数据量。高带宽表示系统能够更快地传输大量数据,而低带宽可能导致传输速度慢或数据丢失。在人工智能应用中,带宽的好坏会影响模型的训练和推理速度,数据的传输效率以及系统的响应速度。

 

⑬buffer(缓冲区)是一种临时存储区域,用于暂时保存数据,以便在需要时进行处理或传输。缓冲区可用于调整不同部分之间的速度差异,帮助平衡数据流,提高效率,并降低数据丢失的风险。在数据处理和传输过程中,缓冲区充当了数据的中转站,确保数据的平稳流动。

 

⑭API(Application Programming Interface)是一组定义了不同软件组件之间如何相互通信和交互的规则和约定。它允许开发人员使用预定义的函数、方法或接口来访问和操作其他软件、服务或库,而无需了解其内部实现细节。API使不同的应用程序能够相互连接和集成,实现数据共享、功能扩展和交互操作。

 

⑮数据体系

数据集(Dataset):数据集是指收集和组织起来用于训练、测试或评估人工智能模型的数据的集合。它可以包含文本、图像、音频等多种类型的信息。

语料(Corpus):语料是一个特定领域或语言的大量文本数据的集合,用于语言处理和自然语言处理任务,如文本分析、情感分析等。

标注系统(Annotation System):标注系统是用于为数据集添加标签或注释的工具或平台,以便训练和评估模型。它可以帮助标注员对数据进行分类、标记实体、标注情感等。

标注工具(Annotation Tools):标注工具是用于数据标注的软件应用程序,可以提供界面和功能,使标注员能够高效地对数据进行标注。例如,对于图像,标注工具可以帮助勾画边界框、标记对象等。

数据开发管线(Data Development Pipeline):数据开发管线是一系列步骤和流程,用于准备、处理、清洗和转换数据,使其适用于训练和测试模型。它涵盖从数据收集到模型训练的整个流程。

 

举例说明:假设我们要开发一个情感分析模型,首先收集了大量社交媒体评论作为数据集。我们使用一个标注系统来为评论添加情感标签(如正面、负面、中性),并使用标注工具在图像中标记与情感相关的实体。然后,通过数据开发管线,对文本数据进行预处理和向量化,将图像数据进行特征提取。最终,我们使用这个经过处理的数据集来训练情感分析模型。

 

⑯模型体系

参数(Parameters):在人工智能模型中,参数是指用于调整模型行为和性能的可调整变量。通过调整参数,可以改变模型的权重和偏差,从而影响其预测或生成的结果。

深度(Depth):在深度学习中,深度指的是神经网络的层数。较深的网络通常具有更高的表达能力,可以学习到更抽象和复杂的特征,但也可能需要更多的计算资源。

模态(Modality):模态指的是不同类型的数据或信息,如文本、图像、音频等。多模态人工智能产品可以同时处理和分析多种不同模态的数据,以提供更全面的理解和功能。

Token:在自然语言处理中,Token 是文本中的基本单位,可以是单词、字符或子词。Tokenization 是将文本分割成 Token 的过程。例如,句子 "I love AI!" 可以被分成三个 Token:"I"、"love" 和 "AI"。

 

举例说明:考虑一个多模态人工智能产品,用于分析电影评论。该产品可以同时处理文本评论和影评中的图像截图。模型的深度可以影响其对评论情感的准确性,通过调整参数可以优化模型的性能。在分析过程中,模型可以处理文本 Token 和图像模态,结合两者的信息来判断评论的情感。

 

⑰RDMA(Remote Direct Memory Access)是一种网络通信技术,允许不同计算机节点之间直接共享内存数据,而无需经过中间步骤。这种高效的通信方式可以加速数据传输,提高系统性能,特别适用于需要大规模数据交换的人工智能训练和计算任务。

 

⑱训练体系

指令调(Hyperparameter Tuning):在人工智能产品中,指令调指的是调整模型的超参数,这些参数在模型训练前需要手动设置,如学习率、批量大小等。通过调整超参数,可以优化模型性能。

正则化(Regularization):正则化是一种技术,用于减小模型的过拟合风险。它在训练过程中向模型的损失函数添加额外项,限制模型权重的大小,从而提高泛化能力。

Epoch:在训练机器学习模型时,Epoch 表示将整个训练数据集用于训练的一轮迭代。多个 Epoch 可以提高模型的性能。例如,训练模型时使用了 10 个 Epoch,表示将训练数据集完整地用于训练了 10 次。

通用图表库:通用图表库是一种工具,用于可视化数据和结果。它允许用户创建图表、图形和图像,帮助分析和展示人工智能模型的性能和结果。

 

举例说明:考虑一个人工智能产品,用于图像分类任务。在训练过程中,我们使用指令调来优化学习率和批量大小,以达到更好的训练效果。同时,我们还应用了正则化技术,限制模型权重的大小,以防止过拟合。我们进行了 20 个 Epoch 的训练,对数据进行多轮迭代,最终使用通用图表库创建图表,展示模型的训练曲线和分类准确率。

 

⑲知识蒸馏是一种技术,用于将一个大型、复杂的模型的知识传递给一个更简单的模型,以提高后者的性能。通过让简单模型学习复杂模型的预测分布或中间表示,可以获得更好的泛化能力和效果。

 

举例说明:考虑一个图像分类任务,我们有一个复杂的深度卷积神经网络模型,它在大量数据上训练得很好。现在我们想要在资源有限的设备上部署一个更轻量级的模型。我们可以使用知识蒸馏技术,让轻量级模型学习复杂模型的预测分布。这样,轻量级模型就能够获得复杂模型的“知识”,在保持较小尺寸的同时,获得与复杂模型类似的性能,例如更高的分类准确率。知识蒸馏使得我们可以在计算和存储资源有限的情况下,仍然获得强大的模型性能。

 

⑳Web3:数字化中的Web3是对互联网的新一代演化的描述,强调去中心化、区块链技术和加密货币等概念。它旨在赋予用户更多的控制权和隐私,并创建更开放、透明和可互操作的在线环境。Web3不仅关注信息的交流,还强调数字资产、智能合约和去中心化应用程序的发展。

 

㉑"Embedding"是一种将高维数据映射到低维空间的技术,以便更好地表达和处理数据。它能够将复杂的信息表示为向量,从而使模型能够更好地理解和处理数据,例如在自然语言处理中,将单词映射为连续向量,使得模型能够更好地理解单词的语义关系。这种技术有助于提高模型的性能和效率。

 

㉒Pinecone是一家专注于推荐系统和搜索引擎的人工智能公司。他们提供高性能的向量搜索引擎,帮助企业通过快速、精确的相似性搜索来提供更好的用户体验。Pinecone的技术可应用于各种领域,如电子商务、内容推荐和数据分析等。

 

㉓Zilliz是一家专注于图形数据库和分析的人工智能公司。他们开发了一款名为"Milvus"的开源向量数据库,可用于高效存储和查询大规模向量数据,支持多种应用,包括图像搜索、相似性分析和推荐系统。Zilliz的技术有助于加速复杂数据的检索和分析,提升了各种人工智能应用的性能。

 

㉔科学的第四范式指的是利用数据科学、大数据技术和机器学习等手段来进行科学研究,以更深入、高效地探索和理解现象,从而推动科学领域的创新和进步。

科学的第五范式是在第四范式的基础上,通过协同、互联网和社会化的方式,将科学家、数据分析师、工程师等各领域人才连接起来,实现更广泛的合作、共享和交流,以加速科学发现和解决复杂问题。

(注:附录里的大部分内容是咨询ChatGPT生成的)

陆奇演讲《新范式 新时代 新机会》(文字、框架)的评论 (共 条)

分享到微博请遵守国家法律