Talk预告 | 卡内基梅隆大博士生侯博涵：MLC-LLM-机器学习编译与在大语言模型上的应用

2023-07-25 12:40 作者:TechBeat人工智能社区 0人读过 | 我要投稿

本期为TechBeat人工智能社区第516期线上Talk！

北京时间7月26日(周三)20:00， 卡内基梅隆大博士生—侯博涵的Talk将准时在TechBeat人工智能社区开播！

他与大家分享的主题是: “MLC-LLM-机器学习编译与在大语言模型上的应用”，届时将与大家探讨在消费级设备上部署大语言模型的原因、挑战、优化策略等方面的问题。

Talk·信息
▼

主题：MLC-LLM-机器学习编译与在大语言模型上的应用

嘉宾：卡内基梅隆大博士生侯博涵

时间：北京时间 7月26日(周三)20:00
地点：TechBeat人工智能社区
http://www.techbeat.net/

长按识别二维码，一键预约TALK！

Talk·介绍

▼

自ChatGPT发布以来，大语言模型（Large language model, LLM)就成了AI乃至整个计算机科学的话题中心。学术界，工业界围绕大语言模型本身及其应用展开了广泛的讨论，大量的新的实践层出不穷。由于LLM对计算资源的需求极大，有能力部署大语言模型的公司和实验室一般通过搭建集群，然后开放API或者网页demo的方式让用户可以使用模型。在人们纷纷发挥想象力尝试各种prompt与模型对话的时候，我们也注意到在一些应用场景中，出于定制化、个性化或者隐私性的目的，人们想要自己在各种终端设备中本地运行大语言模型，不需要/不希望连接互联网或者依赖于服务器，例如

智能汽车的终端可以对驾驶员的操作习惯定制化
智能家居的终端可以对户主的生活习惯定制化
手机游戏，或者主机游戏中NPC的对话可以根据玩家的行为而改变
PC端的应用希望本地部署聊天机器人，但是用户的显卡可能是N卡，A卡，或者集成显卡，安装了CUDA/Vulkan/OpenCL驱动

我们希望能够让每个人都可以开发，优化和部署AI大模型，让它工作在每个人都能方便获得的设备上

Talk大纲

1、为什么我们需要在消费级设备上本地部署大语言模型

2、在消费级设备上部署大语言模型的挑战

3、在消费级设备上部署大语言模型的优化策略

4、 MLC-LLM使用的机器学习编译器框架：TVM Unity

5、MLC-LLM demo展示

Talk·预习资料

▼

论文链接：

https://arxiv.org/abs/2207.04296

repo：

https://github.com/mlc-ai/mlc-llm

https://github.com/mlc-ai/web-llm

Talk·提问交流

▼

在Talk界面下的【交流区】参与互动！留下你的打call🤟和问题🙋，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

Talk·嘉宾介绍

▼

卡内基梅隆大学Catalyst实验室博士研究生，本科毕业于上海交通大学，研究方向包括深度学习编译器，机器学习系统等。曾以第一作者身份在ASPLOS上发表相关研究。参与开发了WebLLM，MLC-LLM等开源项目。

个人主页:

https://www.techbeat.net/grzytrkj?id=33082