阿里云宣布第八代企业级实例g8i算力升级：可支持72B大模型

1月11日，阿里云宣布第八代企业级通用计算实例ECS g8i算力再升级。国内首发代号Emerald Rapids的第五代英特尔至强可扩展处理器，依托阿里云自研的「飞天+CIPU」架构体系，ECS g8i实例的整机性能最高提升85%，AI推理性能最高提升7倍，可支撑高达72B参数的大语言模型。

记者获悉，从关键参数上看，ECS g8i实例的L3缓存容量提升到320MB，内存速率5600MT/s，整机性能提升85%，单核性能提升25%；存储方面，ESSD云盘提供100万 IOPS，全面搭载NVMe，存储延迟低至百微秒；网络方面，PPS 3000万，标配阿里云eRDMA大规模加速能力，时延8微秒；安全方面，ECS g8i实例支持可信计算与加密计算等特性，支持机密虚拟机TDX技术。

在E2E场景下，ECS g8i实例可将MySQL性能提升最高达60%，Redis和Nginx的性能分别提升40%和24%。此外，ECS g8i实例还提供了多种硬件原生加速能力，包括QAT和IAA等加速器。阿里云通过自研技术，将硬件加速能力更细颗粒度透传至实例虚拟机，小规格的ECS g8i实例也同样具备加速能力。其中，依托于QAT原生加解密加速器，ECS g8i实例在压缩/解压缩场景下性能最大可提升70倍，加解密性能提升4倍以上。

与此同时，基于自研eRDMA超低延时弹性网络，阿里云g8i实例集群可支撑72B参数级别的大语言模型分布式推理，推理性能随集群规模接近线性加速，并可支持超过32batchsize的超大参数规模的AI模型负载，运行文生图、AI生成代码、虚拟助手以及创意辅助工具等AI工作负载。

据介绍，以阿里云通义千问开源的Qwen-72B大模型为例，可在g8i实例eRDMA网络构建的集群实现高效运行，在输入小于500字情况下，首包延时小于3秒，每秒可生成7个Token。（定西）

本文系本站科技原创报道，更多新闻资讯和深度解析，关注我们。