2023-05-11 中国 来源:其他 作者:刘纪铖 领域:信息
关键词:
据新智元公众号5月9日消息,北京大学、西湖大学等高校提出一种新型的大模型评估范式PandaLM,可对大模型能力进行自动化、高水平评估。PandaLM通过训练使得大模型学习到人类对不同大模型生成文本的总体偏好,并作出基于偏好的相对评价。PandaLM为大模型评估提供了一种除人类评估第三方应用程序编程接口(API)之外的第三种选择。PandaLM不仅具有高评估水平,而且结果具备可复现性,评估流程高度自动化,同时保护隐私且成本较低。未来,该研究有望应用于学术界和工业界对大模型的研究。