2023.3.21

用A4000跑了nanogpt的shakespeare的例子

先说性能   windows下1iter是5500ms左右，在ubuntu下的compile模式，提升到2300ms左右，pytorch2.0这波compile模式的更新非常可以。

然后费了很大劲终于把那个12g的openwebtext数据集搞下来了，但是在a4000显卡上，显示显存不够，跑不了。只能等4090了

下午装上了4090 

终于能跑gpt2的小模型了，跑的时候，功耗490w。速度如上图，上图mfu的指标是指速度和a100的比例，这个图可以看出来速度是A100的29%。果然是一分钱一分货。