中国复旦大学与百度公司联合推出全新AI模型Hallo2,可生成4K超高清的超长视频

2024-10-22  中国 来源:其他 作者:刘纪铖 领域:信息

关键词:

据品玩网10月18日消息,中国复旦大学与百度公司的联合推出全新AI模型Hallo2,该模型可生成长达数小时的4K分辨率人物动画,并且可以通过语音和文字提示进行精准控制。Hallo2模型建立在latent diffusion models的基础上,并引入了一系列创新性的技术,比如Patch-drop 数据增强技术,可以保证生成人物的稳定性;高斯噪声增强技术,提升动画的连续性及质量;VQGAN 离散码本预测技术实现高分辨率视频的生成,并确保画面细节在时间上的连贯性;还有文本提示控制机制,让动画更具表现力和可控性。实验结果表明,Hallo2在生成高质量、长序列人物动画方面超越了现有的所有方法。

消息来源:https://www.pingwest.com/w/299250