据AIbase网8月14日消息，新加坡国立大学研究团队证实了扩散语言模型在Token数量受限情况下更优异的数据学习潜力。研究团队使用了参数规模为10亿的扩散模型，经过480个周期的训练发现，该模型展现出比自回归模型多三倍的数据学习潜力。在HellaSwag和MMLU基准测试中，该模型分别达到了56%和33%的准确率，且训练过程中未使用任何特殊技巧或数据筛选。即使在极度重复的数据训练中，模型的性能仍未出现饱和，表明它可以从同一数据中提取出更多有用的信息。这项研究的发现为未来AI模型的训练方法提供了新的思路，尤其在Token数量受限的情况下，扩散语言模型的应用前景将更加广阔。