英伟达发文介绍“黄氏定律”：GPU 推理性能十年提升 1000 倍，无惧摩尔定律影响

10月1日消息，英伟达宣布了“黄氏定律（Huang's Law）”，在人们对摩尔定律的未来进行讨论时，该定律提出了 GPU 推理性能在过去十年内将提升 1000 倍的观点。

根据最新的一篇文章称，“黄氏定律”意味着在“单芯片推理性能”中看到的加速不会逐渐消失，而是会继续出现。

Dally 最近在 Hot Chips 2023 会议上的演讲中展示了一张图表，显示过去十年 GPU AI 推理性能增长了 1000 倍。他指出，与摩尔定律不同，工艺缩小对黄氏定律的进展几乎没有影响。

Dally回顾了如何通过改变英伟达GPU底层数字处理来实现16倍的增长。Nvidia Hopper架构的引入，使用Transformer引擎，带来了另一个重大推动。据称，Hopper通过动态组合8位和16位浮点与整数数学，实现了12.5倍的性能飞跃，并且节省了能源。

Dally认为，尽管摩尔定律的效益逐渐减少，但他相信"黄氏定律"仍将持续存在。

“黄氏定律”意味着在“单芯片推理性能”中看到的加速不会逐渐消失，而是会继续出现。根据 Dally 在 Hot Chips 2023 会议上的演讲，过去十年 GPU AI 推理性能增长了 1000 倍，而工艺缩小对黄氏定律的进展几乎没有影响。尽管摩尔定律的收益减少，但 Dally 相信“黄氏定律”仍将继续存在。