马斯克的 AI 公司 xAI 开放 3140 十亿参数混合专家模型 Grok-1

据 PANews 报道，马斯克的人工智能公司 xAI 宣布开放其 3140 亿参数混合专家模型 Grok-1 的权重和架构。Grok-1 是一个由 xAI 从头开始训练的大型语言模型，采用混合专家模型架构，其中 25% 的权重在给定令牌上处于活跃状态。该模型的基本模型权重和网络架构现已根据 Apache 2.0 许可证开放。Grok-1 的预训练阶段已于 2023 年 10 月结束，目前发布的是原始基础模型检查点，未针对任何特定应用进行微调。有兴趣使用该模型的用户可以按照 github.com/xai-org/grok 上的指南操作。