1. 神卡网首页
  2. 资讯

支持超万亿参数大模型训练：华为发布全新架构AI集群Atlas 900 SuperCluster – 华为

• 资讯 • 阅读 249

C114 9月20日下午消息（蒋均牧）智能化掀开新篇章，华为全联接大会2023上，华为常务董事、ICT基础设施业务管理委员会主任、企业BG总裁汪涛正式发布了全新架构的�N腾AI计算集群Atlas 900 SuperCluster。

随着人工智能进入大模型时代，大算力正在成为发展的AI核心引擎。华为改变传统的服务器堆叠模式，以系统架构创新打造AI集群，实现算力、运力、存力的一体化设计，突破大算力瓶颈。华为最新推出的Atlas 900 SuperCluster，可支持超万亿参数的大模型训练。

新集群采用了全新的华为星河AI智算交换机CloudEngine XH16800，借助其高密的800GE端口能力，两层交换网络即可实现2250节点（相当于1.8万张卡）超大规模无收敛集群组网。新集群同时使用了创新的超节点架构，可提供高达200PFLOPS@FP16的算力，大大提升了大模型训练能力。此外，发挥华为在计算、网络、存储、能源等领域的综合优势，从器件级、节点级、集群级和业务级全面提升系统可靠性，将大模型训练稳定性从天级提升到月级。

硬件使能是释放大算力的关键，也是大模型开发的基础。为了加速大模型的创新，华为发布了更开放、更易用的CANN7.0，不仅全面兼容业界的AI框架、加速库和主流大模型，还深度开放底层能力，让AI框架和加速库可以更直接地调用和管理计算资源，使能开发者自定义高性能算子，让大模型具备差异化的竞争力。

C114获悉，面向Transformer网络模型的开发，华为升级了Ascend C编程语言，以更高效的编程方式，简化算子实现逻辑，将融合算子的开发周期从2人月缩短到2人周，使能AI模型与应用的快速开发。

赞 (0)
客服 微信扫一扫 微信扫一扫
0
上一篇 2023年 9月 20日 23:50
下一篇 2023年 9月 20日 23:50

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

记住昵称、邮箱和网址，下次评论免输入

关注公众号了解更多神卡
+ 关注
复制成功
微信公众号: 神卡申请助手
截屏保存图片去微信扫码
打开微信