grok-1
Grok-1是一个开源的大型语言模型，拥有314B参数和8,192个token的最大序列长度。它采用混合专家系统架构，每个token使用2个专家，包含64层结构。模型具有48个查询注意力头和8个键/值注意力头，嵌入维度为6,144。Grok-1支持激活分片和8位量化。项目提供JAX示例代码用于加载和运行模型，并可通过种子链接或Hugging Face下载权重。
