【转】算力单位概述（TFLOPS TOPS）
算力单位概述
Wilder
行到水穷处，坐看云起时
TFLOPS与TOPS有什么区别？
1TFLOPS与1TOPS，前者代表是每秒执行1万亿次浮点运算次数，后者代表每秒执行1万亿次运算次数，区别FL即float浮点，大多数NPU都是定点运算，故通TOPS来标称算力。
如下表示FLOPS，分别以M，G，T，P四种级别来表示，当然你也可以用到TOPS上面
一个MFLOPS（megaFLOPS）等于每秒一百万（=10^6）次的浮点运算，
一个GFLOPS（gigaFLOPS）等于每秒十亿（=10^9）次的浮点运算，
一个TFLOPS（teraFLOPS）等于每秒一万亿（=10^12）次的浮点运算，(1太拉)
一个PFLOPS（petaFLOPS）等于每秒一千万亿（=10^15）次的浮点运算，
在某些情况下，还使用 TOPS/W 来作为评价处理器运算能力的一个性能指标，TOPS/W 用于度量在1W功耗的情况下，处理器能进行多少万亿次操作。
FP32 = float32 单精度浮点格式
IEEE 754-2008 标准指定了额外的浮点类型，例如 64 位 base-2双精度，以及最近的 base-10 表示。
TF32 = TensorFlow-32 英伟达提出的代替FP32的单精度浮点格式
NVIDIA A100/Ampere安培架构 GPU 中的新数据类型，TF32 使用与半精度 (FP16) 数学相同的 10 位尾数，表明对于 AI 工作负载的精度要求有足够的余量。并且TF32采用与FP32相同的8位指数，因此可以支持相同的数值范围。
TF32 在性能、范围和精度上实现了平衡。
TF32 采用了与半精度（ FP16 ）数学相同的10 位尾数位精度，这样的精度水平远高于AI 工作负载的精度要求，有足够的余量。同时， TF32 采用了与FP32 相同的8 位指数位，能够支持与其相同的数字范围。
这样的组合使TF32 成为了代替FP32 ，进行单精度数学计算的绝佳替代品，尤其是用于大量的乘积累加计算，其是深度学习和许多HPC 应用的核心。
借助于NVIDIA 函示库，用户无需修改代码，即可使其应用程式充分发挥TF32 的各种优势。TF32 Tensor Core 根据FP32 的输入进行计算，并生成FP32 格式的结果。目前，其他非矩阵计算仍然使用FP32 。
为获得最佳性能， A100 还具有经过增强的16 位数学功能。它以两倍于TF32 的速度支持FP16 和Bfloat16 （ BF16 ）。利用自动混合精度，用户只需几行代码就可以将性能再提高2 倍。
所以通过降低精度让TF32新单精度数据类型代替了FP32原有的单精度数据类型，从而减少了数据所占空间大小在同样的硬件条件下可以更多更快地运行。
发布于 2023-03-14 14:29・IP 属地四川
TFLOPS
每秒浮点运算次数
FLOPS，即每秒浮点运算次数 [1] （亦称每秒峰值速度）
是每秒所执行的浮点运算次数
（英文：Floating-point operations per second；缩写：FLOPS）的简称，
被用来评估电脑效能，尤其是在使用到大量浮点运算的科学计算领域中。
正因为FLOPS字尾的那个S，代表秒，而不是复数，所以不能够省略。
中文名
每秒浮点运算次数
外文名
TFLOPS
包 括
所有涉及小数的运算
运算次数
ENIAC: 300 FLOPS
基准程式
测量每秒浮点运算次数
目录
1 基本介绍
2 其他信息
基本介绍
编辑 播报
浮点运算实际上包括了所有涉及小数的运算，在某类应用软件中常常出现，比整数运算更费时间。
现今大部分的处理器中都有浮点运算器。
因此每秒浮点运算次数所量测的实际上就是浮点运算器的执行速度。
而最常用来测量每秒浮点运算次数的基准程序（benchmark）之一，就是Linpack。
一个MFLOPS（megaFLOPS）等于每秒一百万（=10^6）次的浮点运算，
一个GFLOPS（gigaFLOPS）等于每秒十亿（=10^9）次的浮点运算，
一个TFLOPS（teraFLOPS）等于每秒一万亿（=10^12）次的浮点运算，
一个PFLOPS（petaFLOPS）等于每秒一千万亿（=10^15）次的浮点运算，
一个EFLOPS（exaFLOPS）等于每秒一百亿亿（=10^18）次的浮点运算。
其他信息
编辑 播报
以下列出几个有代表性硬件的每秒浮点运算次数
FLOPS
ENIAC: 300 FLOPS
MFLOPS
CRAY-1: 160 MFLOPS
GFLOPS
Intel Xeon 3.6 GHz: <1.8 GFLOPS
Intel Pentium 4 HT 3.6Ghz: 7 GFLOPS
Intel Core 2 Duo E4300 14 GFLOPS
Intel Core 2 Duo E8400 24 GFLOPS
AMD Phenom 9950: 29.05 GFLOPS
Intel Core 2 Quad Q8200: 37 GFLOPS
Intel Core 2 QX9770: 39.63 GFLOPS
AMD Phenom II x4 955: 42.13 GFlopS
Intel Core i7-965: 69.23 GFLOPS
Intel Core i7-980 XE : 107.6 GFLOPS
Intel Core i5-2500K @4.5GHz: 123.35 GFLOPS (w/AVX instruction set)
IBM POWER7: 264.96GFLOPS[2]
nVIDIA Geforce 8800 Ultra（G80-450 GPU）:393.6 GFLOPS
nVIDIA Geforce GTX 280（G200-300 GPU）:720 GFLOPS
AMD Radeon HD 3870（RV670 GPU）:497 GFLOPS
AMD Radeon HD 4870（RV770 GPU）:1008 GFlops
TFLOPS
nVIDIA Geforce GTX 580（GF110-375 GPU）:2.37 TFLOPS
AMD Radeon HD 6990（R900 GPU）:4.98 TFLOPS
nVIDA Geforce GTX 1070: 6.5 TFLOPS
nVIDA Geforce GTX 1080: 9 TFLOPS
nVIDA Geforce GTX 1080Ti: 10.8 TFLOPS
nIVIDIA Titan Xp : 12.1 TFLOPS
ASCI White:12.3TFLOPS
AMD Vega Frontier Edition : 13.1 TFLOPS
Earth Simulator: 35.61 TFLOPS
Blue Gene/L: 135.5 TFLOPS
中国曙光Dawning 5000A: 230 TFLOPS
HUAWEI Acsend 910: 256 TFLOPS
PFLOPS
IBM Roadrunner：1.026 PFLOPS
Jaguar：1.75 PFLOPS
天河一号：2.566 PFLOPS
Folding@home运算平台：4.769 PFLOPS
BOINC运算平台：6.282 PFLOPS (持续增加中)
IBM Mira: 8.16 PFLOPS
京：10.51 PFLOPS
IBM Sequoia：16.32 PFLOPS
Cray Titan：17.59 PFLOPS
天河二号：33.86PFLOPS
神威·太湖之光：125PFLOPS
