据AIbase网10月31日消息，中国月之暗面发布革命性混合线性注意力架构Kimi Linear。该架构由三份 Kimi Delta Attention 和一份全局 MLA（多层感知机）组成。通过对Gated DeltaNet的改良，KDA能通过细粒度的门控机制，显著压缩有限状态RNN的记忆使用。这一设计不仅提高了模型处理信息的速度，还有效减少了内存占用，具有更强的实用性。官方数据显示，在处理1M token的场景下，Kimi Linear的KV cache占用量减少了75%，解码吞吐量最高提升了6倍。而在TPOT（训练速度）的提升上，相较于传统MLA，Kimi Linear实现了6.3倍的加速。这些显著的性能提升，预示着Kimi Linear在各类AI任务中的广泛适用性，尤其是在对速度和内存要求极高的应用场景。该全新架构为提升模型的处理能力与效率提供了全新的解决方案。