2024-03-19 美国 来源：其他 作者：唐乾琛 领域：信息
关键词：
据xAI公司网站3月17日消息，美国xAI公司开源其大语言模型Grok-1，参数量达到3140亿。xAI由美国知名企业家伊隆·马斯克（Elon Musk）创立。Grok-1是一款基于混合专家系统（Mixture-of-Experts，MoE）技术构建的大语言模型，拥有3140亿参数，远超OpenAI GPT-3.5的1750亿。这是迄今参数量最大的开源大语言模型，遵照Apache 2.0协议开放模型权重和架构，允许用户自由地使用、修改和分发软件，无论是个人还是商业用途。xAI公司指出，该模型的训练基于大量的文本，未经过针对任何具体应用的微调，长上下文的理解与检索、多模态能力都是未来将会研究的方向。
