DeepSeek-V2是一款基于专家混合(MoE)架构的大规模语言模型,总参数量达2360亿,每个token激活210亿参数。相较于DeepSeek 67B,该模型在提升性能的同时,显著降低了训练成本和推理资源消耗。DeepSeek-V2在多项标准基准测试和开放式生成任务中表现优异,展现了其在多领域的应用潜力。

Grok-1是一个开源的大型语言模型，拥有314B参数和8,192个token的最大序列长度。它采用混合专家系统架构，每个token使用2个专家，包含64层结构。模型具有48个查询注意力头和8个键/值注意力头，嵌入维度为6,144。Grok-1支持激活分片和8位量化。项目提供JAX示例代码用于加载和运行模型，并可通过种子链接或Hugging Face下载权重。