据大半导体产业网2月19日消息，中国AI初创公司DeepSeek发布一种与硬件一致且本机可训练的稀疏注意力机制NSA（Native Spare Attention）。NSA主要用于超快速的长上下文训练和推理，其核心组件包括：动态分层稀疏策略、粗粒度token压缩以及细粒度token选择。该机制通过针对现代硬件的优化设计，不仅加快了推理速度，降低了预训练成本，且不会影响性能。在一般基准测试、长上下文任务和基于指令的推理上，NSA与完全注意力模型的表现相当甚至更好。

消息来源：https://www.semi.org.cn/site/semi/article/44ae274fa46f4a2bbba37f906c4a0bb0.html