据品玩网1月29日消息，美国微软公司与瑞士苏黎世联邦理工学院的联合研究团队研发出全新AI大语言模型压缩技术方案SliceGPT。SliceGPT通过替换每个权重矩阵为一个更小（密集）的矩阵来减少网络的嵌入维度。通过实验，SliceGPT能够在保持99%、99%和90%的零样本任务性能的同时，为LLAMA-2 70B、OPT 66B和Phi-2模型移除高达25%的模型参数（包括嵌入）。此外，SliceGPT的切片模型在24GB消费级GPU上运行时，推理的总计算量减少到密集模型的64%，而在40GB英伟达A100 GPU运行时，这一比例降低到66%。

消息来源：https://www.pingwest.com/w/292213