欢迎光临散文网 会员登陆 & 注册

从零开始的ChatGLM教程(三点二)

2023-04-16 13:13 作者:摸鱼王阿卫  | 我要投稿

写在前面

本文中所有的内容仅供参考,本人并不对任何产生的后续问题负任何责任。

基于Lora的训练数据集正在制作中,比我想象的要更花时间,因此训练部分的教程可能需要到下周才能出了。在这篇中主要还是针对一些乱七八糟的问题进行整理。

我使用的是华硕ROGZ590的主板,这个板子很有意思,从第10代开始,核显不再支持非UEFI模式启动,也就是CSM/Legacy兼容模式,也不再支持MBR分区表。因此有三种解决办法,一种是增加一个亮机卡以开启CSM模式,但并不推荐这种做法,因为有的时候计算卡的设置并不支持CSM模式,会给后续的环境设置造成不必要的麻烦。第二种解决办法是从制作UEFI模式的启动盘,并事先把要安装系统的硬盘改为GPT分区表,此时电脑将以纯UEFI模式启动。第三种办法是我采用的最简单粗暴的方法,直接找一个SATA的SSD安装系统作为系统盘。

在之前的文章下有人询问关于两张M40的效率。在Vicuna等LLAMA系模型中,提供了使用多卡推理的条件。在运行多卡推理的模型中双显卡推理确实是一个值得考虑的选择,但我并不推荐两张M40交火计算(我知道交火是A卡的术语,但为了避免和后面的内容混淆进行更多的解释,请允许我在文章中这么称呼两张显卡在一个主板上的情况)原因是M40并不支持SLI,虽然从外部可以看到M40是保留有SLI接口的,但这只是老黄不想重新画板的偷懒。M40并不支持通过SLI桥接。(如果我说错了请及时纠正我)这意味着显存并不会因为你进行双卡交火而直接叠加,同时运算效率上实际是1+1<2的一个情况。其次,选择M40只是因为它在我写这篇文章的时候本体的溢价不高。M40的TDP是250W,P40也是250W但运算效率却比M40更高,从电费角度来看你如果是为了提升效率更应该直接考虑购买P40而不是两张M40。顺便一提,支持SLI的最新消费显卡是3090,因此3090值得考虑进行双卡SLI桥接,但我没那么多钱,这部分留给一个有缘人测试完后把效果分享给大家。如果你想要上双卡,请务必计算你的整机功耗,双卡M40需要大概在1250W左右的电源,三卡则需要上到1650W(真 国家电网合作伙伴)电源过载是一件非常危险的事情,请不要这样干。

在训练模型之前,你应该下载烤机软件对整机的稳定性进行测试。尤其是专业卡的用户,你必须在开始炼丹前对你的机器散热进行充分的检查。训练模型或者推理时图像卡是满功率运转的,发热量惊人,而进行模型训练:例如训练Lora等又需要长时间运行。因为专业卡本身并不带有散热,所以DIY改造的散热的稳定性至关重要。图像卡过热可能会导致机器死机,发生错误,甚至起火。

你能看到这里说明屏幕前的你也是个技术型人才,应该不会干出那种把电脑或者显卡当作老婆的傻事。但以防万一我还是要说一下:进行模型训练,尤其是大语言模型的Lora训练,是非常消耗设备的,请勿长时间用你的老婆机,存有重要数据的机器,价格昂贵的机器进行模型的训练。你的家里不会有专业的服务器机房的环境,进灰,潮湿都是难免的事情。所以当你的图像卡不幸报废了的话也请以平常心对待。为了你的钱包着想,也不要用那种溢价很高的二次元花嫁卡信仰卡进行长时间的训练。电脑只是一个工具,一个消耗品。

本文中如有错误或疏漏,欢迎私信我或在下方评论区留言,我会修正或补充

从零开始的ChatGLM教程(三点二)的评论 (共 条)

分享到微博请遵守国家法律