据AIBASE网2月12日消息，中国字节跳动公司豆包大模型团队发布新型稀疏模型架构UltraMem，大模型推理成本最高可降低83%。该架构在保证模型效果的前提下，有效解决了混合专家模型（MoE）推理时的高额访存问题，推理速度较MoE框架提升2-6倍并显著降低了推理成本。该技术有效解决了MoE框架的延迟问题，为大模型的高效推理和规模化应用提供了新的技术选择。

消息来源：https://www.aibase.com/zh/news/15295