数据觉醒时代 华为六大标准重新定义数据存储

更新时间:2024-05-08 19:57:57作者:无忧百科

 数据觉醒时代 华为六大标准重新定义数据存储

5月8日消息,近日,AI时代呼唤新一代数据存储。近日,华为公司副总裁、数据存储产品线总裁周跃峰在主题演讲中表示,具备极致性能、数据韧性、全新数据范式、高扩展性、绿色节能、数据编织能力的数据存储是AI时代存储演进的必由之路。



AI大模型集群规模已迈入万卡、十万卡时代,集群规模增加带来更加频繁的故障和训练中断,重复的CheckPoint数据写入、断点续训导致算力资源闲置,集群可用度不足50%。此外,到2026年,全球数据中心的耗电量预计将达到2022年的2.3倍,相当于日本一个国家全年的耗电量,其中数据中心一半以上的电力消耗都将被AI占据。

AI时代呼唤新一代数据存储。过去的数据存储主要关注性能、可靠、数据范式三个方面;面向未来,AI存储还应增加三个维度:高扩展性、绿色节能与数据编织。

数据觉醒时代,华为将重新定义数据存储,聚焦于六个方面的创新:1.极致性能:超越传统存储10倍的性能,支持PB级带宽以及亿级IOPS,极大提升生成式AI全流程效率;2.数据韧性:通过架构和技术创新,实现99.9999%高可靠性,通过内置防勒索引擎,实现侦测准确率提升至99.99%,并将AI训练过程中CheckPoint恢复时间缩至1分钟以内;3.全新数据范式:使能多维“张量”格式的数据,通过智能检索引擎,具备快速的张量数据检索能力;通过内嵌知识库,利用RAG技术消除AI大模型幻觉;4.高扩展性:存储集群支持EB级容量横向扩展;每个引擎可支持多GPU、DPU或NPU纵向扩展,以支持近存计算;5.绿色节能:通过存储介质应用创新和整机硬件创新,实现小于1Watt/TB的存储能效和1PB/U的存储密度;6.数据编织:基于存储元数据管理及检索能力,实现全局数据可视、可管,并支持10倍的数据流动效率提升。

为此,华为推出全新A系列高性能存储OceanStor A800,可有效提升AI集群可用度30%。性能方面,OceanStor A800带宽是友商同类产品的4倍,IOPS达友商的8倍;支持EB级容量扩展,最大支持扩容至4096张算力卡,512个存储控制器;从空间能耗来看,密度高达1PB/U,能耗低至0.7Watt/TB;结合向量化索引、张量格式数据、RAG知识库,使能全新数据范式;数据韧性方面,勒索攻击侦测准确率从99.9%提升至99.99%;通过数据编织能力,实现数据资产管理。

此外,华为新推出128TB大容量SSD盘,相比业界友商,每PB节约88%空间,节省92%能耗,相同空间实现10倍容量提升。

同样,AI-Ready的前提是Data-Ready。DME内置的Omni-Dataverse全局文件系统实现企业全域数据资产可视、可管、可流动。(崔玉贤)

本文系网易科技报道,更多新闻资讯和深度解析,关注我们。

本文标签: 华为  张量  扩展性  元数据  知识库