中国华为发布AI推理创新技术UCM,有望破解中国AI推理对HBM技术的依赖

2025-08-13  中国 来源:其他 领域:信息

关键词:

据华尔街见闻8月12日消息,中国华为与中国银联共同发布AI推理创新技术UCM(推理记忆数据管理器)。UCM是一款以KV Cache为中心的推理加速套件,融合多类型缓存加速算法工具,通过分级管理推理过程中产生的KV Cache记忆数据,扩大推理上下文窗口,实现高吞吐、低时延的推理体验。这项突破性成果有望降低中国AI推理对HBM(高带宽内存)技术的依赖,提升国内AI大模型推理性能。据悉,华为计划于2025年9月正式开源UCM,届时将在魔擎社区首发,后续逐步贡献给业界主流推理引擎社区,并共享给业内所有Share Everything(共享架构)存储厂商和生态伙伴。