中国字节跳动公司发布新型稀疏模型架构UltraMem,可显著降低大模型推理成本

2025-02-14  中国 来源:其他 作者:刘纪铖 领域:信息

关键词:

据AIBASE网2月12日消息,中国字节跳动公司豆包大模型团队发布新型稀疏模型架构UltraMem,大模型推理成本最高可降低83%。该架构在保证模型效果的前提下,有效解决了混合专家模型(MoE)推理时的高额访存问题,推理速度较MoE框架提升2-6倍并显著降低了推理成本。该技术有效解决了MoE框架的延迟问题,为大模型的高效推理和规模化应用提供了新的技术选择。

消息来源:https://www.aibase.com/zh/news/15295