欢迎光临散文网 会员登陆 & 注册

LLAMA-7B模型这个版本显卡不好可以轻松运行,大概吃掉6GB多内存

2023-03-29 15:08 作者:科幻朱朱侠  | 我要投稿


应该是int4量化

主程序会占用6个多G的内存

然后运行时会消耗i7 11800H一半的性能

不需要占用什么显卡性能

LLAMA-7B模型这个版本显卡不好可以轻松运行,大概吃掉6GB多内存的评论 (共 条)

分享到微博请遵守国家法律