据大半导体产业网12月4日消息，中国移动研究院与天数智芯、中兴等产业伙伴联合发布业内首个“芯合”异构混合并行训练系统1.0，可支持大模型在多厂商、多代际、多架构的异构混合集群上的规模训练。该训练系统具备基于非均匀计算任务切分ITD算法的3D并行策略和基于GDR的异构芯片高速通信两大核心能力，成功实现了百亿参数大模型在英伟达、天数智芯、壁仞科技、海光等4家智算芯片上的交叉混合训练，规模可支持万卡集群，训练加速比达95%以上，达到业界领先水平。未来，该系统将在提升智能算力资源利用率及促进国产算力发展等方面发挥重要作用，助力万亿级参数大模型训练孵化，推动全行业“AI+”转型升级和我国算力强国战略落地。

消息来源：https://www.semi.org.cn/site/semi/article/b01f9ef1e029429283482ba006f087dd.html