马斯克兑现承诺开源Grok 喊话Open AI:你的开源呢?

更新时间:2024-03-18 19:56:23作者:无忧百科

马斯克兑现承诺开源Grok 喊话Open AI:你的开源呢?

3月18日消息,马斯克旗下 xAI 宣布开源了语言模型 Grok-1,拥有3140亿参数,远超过 OpenAI 的 GPT 模型。Grok-1是由 xAI 于2023年10月使用自定义训练堆栈从头开始训练的混合专家(MOE)模型,该模型在开源时没有针对任何特定应用进行微调。

马斯克在推特上批评了 OpenAI,并表示 xAI 平台已经是迄今为止最透明和最求真的平台之一。他对 OpenAI 的“开放”部分提出了质疑,认为其偏离了初衷,成为了以利润为导向的实体。马斯克之前曾批评 OpenAI 是一个以营利为目标的公司,而不是最初设想的非营利性开源组织。

据悉,Grok-1的开源受到了积极的反响,上线 GitHub 后获得了大量星标。该模型包含8个处理层,每个数据单元(Token)由2位专家处理,共64个处理层。其中25%的参数能够针对特定的数据单元(Token)激活。最大序列长度为8192个数据单元,以处理更长的上下文信息。(江淼)

本文系网易科技报道,更多新闻资讯和深度解析,关注我们。

本文标签: 马斯克  openai  grok  github  open