据品玩网8月19日消息，美国英伟达与Meta公司合作推出Llama-3.1-Minitron 4B AI小模型。该模型参数量仅有40亿，是通过对英伟达Nemotron系列中较大的15B模型（150亿参数量）进行剪枝和蒸馏得到的。剪枝和蒸馏可带来多种好处：与从头开始训练相比，该模型的MMLU分数提高了16%、训练标记需求量更小，以及成本最多可节省1.8倍。

消息来源：https://www.pingwest.com/w/297532