没有英伟达,华为盘古的底座依然稳固。透过逻辑架构,彻底讲清楚,为什么说华为...

iO500最新榜单,鹏程(上届冠军)是第二,第一是济南超算,算力是第二名的15倍,真是做到了遥遥领先,再结合鹏程云脑三下半年的建设规划,说是算力要达到鹏程二的16倍,还要用上华为新的AI芯片(划重点,后文有出处),而这个16倍和15倍感觉差不了多少,所以感觉鹏程三并不是在吹牛,而是已经有了16倍的底气。
补充资料:
近日,存储圈又有炸裂新消息。
高性能计算(HPC)领域最具影响力的IO500最新一期榜单公布,以华为OceanStor Pacific分布式存储为核心底座的Cheeloo-1系统表现一骑绝尘,在最重要的10节点榜单中以创纪录的13万总得分位列第一,性能是上届冠军的15倍之多。
无疑,这份超高的存储性能成绩具有里程碑意义:不仅体现出华为OceanStor Pacific分布式存储强大的产品力,更标志着分布式存储在高性能计算领域的重要性愈发突出,甚至加速拉开了高性能计算向HPDA(High Performance Data Analytics,高性能数据分析)演进的序幕。
在本次IO500榜单中,以华为OceanStor Pacific分布式存储为核心底座的Cheeloo-1系统,搭载了全新研制的OceanFS2新一代并行文件系统,真正打破了HPC在存储层的关键性能瓶颈,在总体得分、带宽性能、元数据性能等五个维度上的得分均遥遥领先,堪称全能型的五边形战士。
在满足HPC各项存储需求的基础上,华为OceanStor Pacific分布式存储如何做到在综合性能上比其他厂商快得多?这得益于华为在分布式存储领域始终如一的研发创新,逐步在应用、算法、网存和架构四个层面,形成综合优势。
出处:IO500官网
首先,在应用层面,华为OceanStor Pacific分布式存储打造了应用感知的DataTurbo数据加速引擎,利用融合数据格式、近数据处理和特征处理算子卸载加速等创新技术,实现了对各种HPDA 应用的性能加强。
比如,针对HPDA中愈发密集、愈发不可或缺的大数据环节,数据处理流程的各类ETL严重影响了数据处理效率,而OceanStor Pacific分布式存储灵活对接各种大数据引擎的“基操”,实现了数据湖和数仓之间的数据共享,大幅减少了ETL的需求。
再例如,DataTurbo数据加速引擎在存储侧为计算引擎开启缓存能力,通过自动缓存热点数据进行预处理,并在多个计算集群之间共享缓存数据,以削除计算侧加载时的资源消耗和时延,实现效率60倍提升,让数百PB数据查询缩减至10秒。
其次,在算法层面,华为OceanStor Pacific分布式存储采用业内独创的SmartBalance全均衡设计,实现数据类型和I/O流的智能感知,解决CPU算力不足或调用堆栈深度等软件问题引起的IOPS瓶颈、HPC多流程跨系统的数据迁移、数据膨胀等难题。
比如,华为OceanStor Pacific的大小IO分流处理技术,实现了在一套存储中带宽、IOPS和OPS性能全优,单节点性能达到了20GB/s的带宽和20万IOPS,是业界的最高水准。
此外,独创的融合非结构化元数据索引,实现文件、对象和大数据等原生多协议无损互通,一份数据多端调用。并且,针对数字化病理、卫星遥感、基因测序等,华为采用智能感知语义格式、多模态聚合、智能分区编码等技术,进行场景化二次压缩算法,将压缩比例提高了30~80%。
华为的算法创新在真实HPC场景中有何价值?以其独创的融合非结构化元数据索引为例,在科学计算等典型的HPC场景中,创建数据集一直都是老大难的问题,动辄又数十TB的数据集,过去如果需要创建多个数据集,以满足不同研发团队的需求,往往需要通过数据复制的方式,效率极其低下;如今,利用融合非结构化元数据索引,则不需要通过数据复制的方式,一份数据集能够轻松被多端灵活调用。
第三,在网存层面,华为OceanStor Pacific通过自研的网络芯片支持RoCE,以及RDMA和IP的访问能力。在同时支持带宽、IOPS等不同类型的业务时,可以智能调整网络的相关参数,提供更好的拥塞控制,从而大幅降低不同存储节点间的数据交换时延。
最后,在架构层面,华为OceanStor Pacific采用全对称架构,实现了智能IO路径与磁盘管理,以及极高的数据可靠性保护,大幅领先开源方案。众所周知,Lustre等开源分布式存储在HPC领域被多年应用,但Lustre的非对称架构、IO路径漫长、磁盘碎片化严重、无冗余保护等劣势,在如今的HPC场景中逐渐凸显,越来越多用户开始转向以华为OceanStor Pacific为代表的商用方案,从而在架构、性能和可靠性方面获得更好的保障。
鹏程三在这个👆🏻7分15秒【华为昇腾开发者峰会上 关于鹏城云脑三的进度。还有芯片 6g的信息-哔哩哔哩】 https://b23.tv/UUGgvdA