热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#混合专家模型
DeepSeek-V2
DeepSeek-V2是一款基于专家混合(MoE)架构的大规模语言模型,总参数量达2360亿,每个token激活210亿参数。相较于DeepSeek 67B,该模型在提升性能的同时,显著降低了训练成本和推理资源消耗。DeepSeek-V2在多项标准基准测试和开放式生成任务中表现优异,展现了其在多领域的应用潜力。
grok-1
Grok-1是一个开源的大型语言模型,拥有314B参数和8,192个token的最大序列长度。它采用混合专家系统架构,每个token使用2个专家,包含64层结构。模型具有48个查询注意力头和8个键/值注意力头,嵌入维度为6,144。Grok-1支持激活分片和8位量化。项目提供JAX示例代码用于加载和运行模型,并可通过种子链接或Hugging Face下载权重。
相关文章
DeepSeek-V2: 经济高效的专家混合语言模型
2 个月前
Grok-1: xAI的开创性大语言模型
2 个月前
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号