热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#Grok-1
Grok-1: xAI的开创性大语言模型
2 个月前
探索xAI公司推出的Grok-1模型:一个具有3140亿参数的强大语言模型,采用混合专家系统架构,为AI领域带来新的可能性。
Grok-1
大型语言模型
混合专家模型
开源权重
模型规格
Github
开源项目
2 个月前
相关项目
grok-1
Grok-1是一个开源的大型语言模型,拥有314B参数和8,192个token的最大序列长度。它采用混合专家系统架构,每个token使用2个专家,包含64层结构。模型具有48个查询注意力头和8个键/值注意力头,嵌入维度为6,144。Grok-1支持激活分片和8位量化。项目提供JAX示例代码用于加载和运行模型,并可通过种子链接或Hugging Face下载权重。
查看
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号