阿里妈妈字体
据报道,马斯克的AI创企xAI于3月18日正式宣布,其大型语言模型Grok-1已实现开源,并向公众开放下载。

Grok-1采用了混合专家系统(MoE)技术构建,参数量高达3140亿,远超过OpenAI GPT-3.5的1750亿。这一消息令Grok-1成为迄今参数量最大的开源语言模型之一,遵循Apache 2.0协议,开放了模型权重和架构。

该模型于2023年10月完成预训练阶段,此次开源的是预训练阶段结束时的原始基础模型检查点,未经过针对特定应用的微调。

xAI的目标之一是在大型模型领域与OpenAI、谷歌、微软等公司展开竞争。其团队来自多个知名企业和研究机构,包括OpenAI、谷歌DeepMind、谷歌研究院、微软研究院等。

目前,xAI尚未公布Grok-1的具体测试结果,但其与其他公司的大型模型竞争将成为业内关注的焦点。


马斯克AI大模型Grok开源:参数量达3140亿

版权:秀设计整理发布,未经允许禁止转载和商用,如有侵权请联系我们。
评论列表 (0)
发表第一个评论!
1 点赞 收藏 0 评论
分享
返回顶部