NVIDIA A100 超微NV服务器

通过NVIDIA H800超微NV服务器

Tensor Core GPU ,在每个工作负载中实现出色性能、可扩 展性和安全性。使用NVIDIA? NVLink Switch系统,可连接多达256个H100来

加速百亿亿级(Exascale)工作负载,另外可通过专用的Transformer引擎来处理万亿参数语言模型。与上一代产品相比, H100的综合技术

创新可以将大型语言模型的速度提高30倍,从而提供业界领先的对话式Al。

H800配备第四代Tensor Core和Transformer引擎( FP8精度)，与上一代产品相比 ,可为多专家(MoE)模型提供高9倍的训练速度。通

过结合可提供900 GB/s GPU间互连的第四代NVink、可跨节点加速每个GPU通信的NVLINK Switch系统、PCle 5.0以及NVIDIA

Magnum I0?软件,为小型企业到大规模统一GPU 集群提供高效的可扩展性。

NVIDIA H800超微NV服务器进一步扩 展了NVIDIA在推理领域的市场领先地位,其多项先进技术可将推理速度提高30倍,并提供超低的延

迟。第四代Tensor Core可加速所有精度(包括FP64、TF32、 FP32、 FP16 和INT8)。Transformer 引擎可结合使用FP8和FP16精

度,减少内存占用并提高性能,同时仍能保持大型语言模型的准确性。

VIDIA数据中心平台性能持续提升,超越摩尔定律。H100 的全新突破性Al性能进一步加强了HPC+AI的力量,加速科学家和研究人员的探

索，让他们全身心投入工作,解决世界面临的重大挑战。