单芯片最高2400TPS,华为云Tokens服务全面接入384超节点
创始人
2025-08-28 02:05:26
0

8月27日,在第四届828 B2B企业节开幕式上,华为云宣布其Tokens服务全面接入CloudMatrix384超节点,通过xDeepServe架构创新,单芯片最高可实现2400TPS、50msTPOT的超高吞吐、低时延的性能,超过业界水平。

以系统能力打造先进算力

过去18个月,中国AI算力需求呈现指数级增长。数据显示,2024年初中国日均Token的消耗量为1000亿,截至今年6月底,日均Token消耗量已突破30万亿,1年半的时间增长了300多倍,反映了我国人工智能应用规模快速增长,也对算力基础设施的需求提出了更大的挑战。

在以往按卡时计费的基础上,今年3月,华为云正式推出了基于MaaS的Tokens服务。针对不同应用、不同场景的性能和时延要求,还提供了在线版、进线版、离线版乃至尊享版等多种服务规格,为大模型、Agent智能体等AI工具提供了更为灵活、便捷、低成本的先进算力。

而这一次,华为云的Tokens服务正式接入CloudMatrix384,并通过384原生的xDeepServe框架再次实现了吞吐量的突破,从年初的1920TPS提升至2400TPS,TPOT仅为50ms。

大算力的构建不是单点突破,而是一个从硬件到软件、从算子到存储、从推理框架到超节点的全栈创新,充分依托了华为的“大杂烩”能力。

首先,CloudMatrix384 超节点以全新的计算架构创新,突破性能瓶颈,构筑稳固澎湃的算力根基; CANN昇腾硬件使能,优化算子与高效通信策略,让云端的算力能够以最高效的方式被调用和组合;EMS弹性内存存储打破AI内存墙,突破性地实现“以存强算”, 彻底释放了每一颗芯片的算力;xDeepServe 分布式推理框架则以极致分离架构Transfomerless让超节点释放出更高效算力。

“拆掉”Transformer,xDeepServe全面激发算力潜能

作为CloudMatrix384 超节点的原生服务,xDeepServe以Transformerless 的极致分离架构,把MoE大模型拆成可独立伸缩的 Attention、FFN、Expert三个微模块,相当于在一台CloudMatrix384上把“大模型”拆成“积木”,并分派到不同的NPU上同步处理任务。之后,再用基于内存语义的微秒级XCCL通信库与FlowServe 自研推理引擎把它们重新拼成一个超高吞吐的LLM服务平台,即Tokens的“超高速流水线”。通过xDeepServe不断调优,最终实现了从非超节点单卡吞吐600tokens/s至超节点单卡吞吐2400tokens/s的提升。

作为硬件加速计算的中间层,CANN包含多个算子库和和XCCL这种高性能通信库等组件,共同支撑AI模型的高效运行。其中,XCCL作为专为超节点上的大语言模型(LLM)服务而量身打造的高性能通信库,能够充分发挥CloudMatrix384扩展后的UB互联架构(UB fabric)的全部潜力,为 Transformerless的全面分离奠定了带宽与时延双重硬底座。

而作为被重构的“去中心”式分布式引擎,FlowServe把CloudMatrix384 切成完全自治的DP小组,每个小组自带 Tokenizer、执行器、RTC 缓存与网络栈,完全自给自足,做到千卡并发也不“拥堵”。

目前,xDeepServe已实现MA分离,而下一步,将把Attention、MoE、Decode全部改成自由流动的数据流,并把同样的拼图方法复制到多台超节点,让推理吞吐像铺轨一样线性延伸,最终或将视线吞吐量的更大突破,让每块 NPU 都高效运作,芯片永不排队,推理永不塞车。

聚焦主流大模型,不断提升模型性能

目前,华为云MaaS服务已支持DeepSeek、Kimi、Qwen、Pangu、SDXL、Wan等主流大模型及versatile、Dify、扣子等主流Agent平台。

华为云积累了大量模型性能优化、效果调优的技术和能力,从而实现“源于开源,高于开源”,让更多大模型可以在昇腾云上跑得更快更好。以文生图大模型来说,在轻微损失画质的情况下,通过Int8量化、旋转位置编码融合算子等方式,在在华为云MaaS平台实现了2倍于业界主流平台的出图速度,最大尺寸支持2K×2K。而在文生视频大模型上,不仅通过量化方式来提速,还通过通算并行等方式,降低延迟与显存占用,大幅提升视频生成速度,相较于友商实现了3.5倍的性能提升。华为云Tokens服务在性能、模型适配、效果调优方面的基础,也让更多企业能够快速开发和构建AI Agent。

而在应用层,华为云已与超过100家伙伴携手深入行业场景,共建丰富的Agent,在调研分析、内容创作、智慧办公、智能运维等领域解决产业难题,让企业更便捷地拥抱AI创新,加速智能化。

如基于MaaS平台推出的今日人才数智员工解决方案,集成了先进的自然语言处理、机器学习和深度学习技术,能实现与用户的智能交互和任务处理,显著提升服务效率与客户满意度;而北京方寸无忧科技开发的无忧智慧公文解决方案可以提升公文处理效能,实现政企办公智能化转型。

以Token为动力的智能社会已经到来,而华为云将以系统级创新能力和全新的Tokens服务构筑先进算力,助力各行各业加速落地AI。

相关内容

富联精密电子取得风扇组件及...
国家知识产权局信息显示,富联精密电子(天津)有限公司取得一项名为“...
2026-06-21 07:24:56
苹果WWDC发布Siri ...
6月9日消息,据外电报道,苹果今天在WWDC 2026上宣布对Si...
2026-06-21 05:22:14
等电位连接检测,第三方检测...
等电位连接检测仪器的详细介绍 等电位连接检测仪器是一种用于精确测量...
2026-06-21 05:22:07
怎么选电力稳压器 多场景适...
电力稳压器的核心作用 在日常生产生活中,电网电压往往会因为负载变化...
2026-06-21 05:21:58
ETF午评 | 半导体板块...
A股三大指数早盘涨跌不一,截至午盘,上证指数涨0.43%,深证成指...
2026-06-21 05:21:44
300146,跨界投资半导...
又有跨界投资。 保健品龙头公司汤臣倍健(300146)6月18日晚...
2026-06-21 05:21:40
芯片概念股走弱,科创芯片E...
芯片概念股走弱,中微公司跌超7%,澜起科技跌超6%,拓荆科技跌超5...
2026-06-21 05:21:33
原创 ...
根据RD观测的爆料,小米17T系列的首销情况(Sell out)出...
2026-06-21 05:21:23
原创 ...
自从各大旗舰机结束后,新一代旗舰机陆续曝光,毕竟距离9月份越来越近...
2026-06-21 05:21:11

热门资讯

原创 徕... 根据RD观测的爆料,小米17T系列的首销情况(Sell out)出炉:开售前四天销量超过了7万台,其...
是德示波器企业梳理:生产测试与... 导语:在电子制造与通信测试领域,示波器作为核心测量工具,其性能稳定性与技术服务能力直接影响生产效率与...
fedDSP 发布基于电子管、... fedDSP推出了一款名为TNT的全新饱和度插件,该插件是一款零延迟饱和器,其设计基于电子管、磁带和...
每周股票复盘:中瓷电子(003... 截至2026年6月18日收盘,中瓷电子(003031)报收于176.29元,较上周的144.0元上涨...
北京弘图半导体申请通道不平衡校... 国家知识产权局信息显示,北京弘图半导体有限公司申请一项名为“通道不平衡校正方法、图像传感器、成像模组...
晶合集成申请半导体缺陷智能分析... 国家知识产权局信息显示,合肥晶合集成电路股份有限公司申请一项名为“半导体缺陷智能分析方法及装置”的专...
武汉锦秀地坪申请高透光性幻彩磨... 国家知识产权局信息显示,武汉锦秀地坪建筑工程有限公司申请一项名为“一种高透光性幻彩磨石及其制备工艺”...
思达仪表申请存储器电源控制方法... 国家知识产权局信息显示,深圳市思达仪表有限公司申请一项名为“存储器电源控制方法、电路及电能计量设备”...
安徽煜图科技申请胆甾相液晶显示... 国家知识产权局信息显示,安徽煜图科技有限公司申请一项名为“一种胆甾相液晶显示电路及其驱动方法及电子纸...
慧忆微电子申请存储设备读取方法... 国家知识产权局信息显示,慧忆微电子(上海)有限公司申请一项名为“存储设备的读取方法、电子设备以及存储...