据MIT科技评论网1月6日消息，美国谷歌公司研发出新型神经记忆架构Titans，突破Transformer上下文窗口限制。Titans架构的核心是神经长期记忆模块，窗口长度扩展至200K，可在测试时动态学习和更新记忆，通过瞬时惊讶度（Momentary Surprise）和过去惊讶度（Past Surprise）两个维度衡量信息重要性，以存储和记忆长期的历史信息。Titans架构的发布为长文本处理开辟了新的可能，对文档分析、长文本理解、知识检索等具有重要意义。

消息来源：消息来源：https://www.51cto.com/article/806366.html