据微软官网8月6日消息，美国微软研究院公布Rumi项目，可通过多模方式提高AI理解能力。Rumi项目旨在提升AI系统的理解能力，实现对人类意图的更深入理解。微软研究院使用音频和视频模型从数据流中实时检测非语言线索，包括用户音频的韵律音调和语义，以及视频中的面部表情。通过将非语言线索信息融入基于文本的提示。该多模态方法能够提升AI模型对用户情感和意图的理解，从而提升AI与人类的交互水平。Rumi的推出标志着在AI领域探索多模态副语言的最新进展，将有助于AI系统在真实场景中更好地与人类进行交流和合作，为AI技术的应用带来更多可能性。

消息来源：https://www.microsoft.com/en-us/research/project/project-rumi/