欢迎光临散文网 会员登陆 & 注册

用C++进行ChatGLM的CPU推理

2023-06-18 23:14 作者:AI日日新  | 我要投稿

项目链接:


如何运行?

首先克隆仓库:

接着编译项目(每一行为一个命令,逐个运行):

然后从以下链接下载模型到build文件夹:

下载完模型后,确认终端路径在build文件夹下,即可开始推理:

若出现killed错误,则先运行以下命令再进行推理(每一行为一个命令,逐个运行):


演示图片:

图1 推理图


用C++进行ChatGLM的CPU推理的评论 (共 条)

分享到微博请遵守国家法律