#Jamba

Jamba是一个基于PyTorch的混合语言模型，结合了Transformer和Mamba架构。通过简单的pip命令（`pip install jamba`），用户可以迅速安装并使用该模型。Jamba支持多种深度学习配置，包括输入数据维度、模型层数、唯一标记数、隐藏状态维度、卷积层维度、注意力头数量和专家网络配置，适用于各种自然语言处理任务。

Jamba-v0.1是一款创新的混合SSM-Transformer大语言模型，拥有12B活跃参数和52B总参数。它不仅提供了更高的吞吐量，还在多数常见基准测试中表现优异。该模型支持256K上下文长度，单个80GB GPU可处理多达140K个标记。作为首个生产规模的Mamba实现，Jamba为AI研究和应用开辟了广阔前景。

Jamba-tiny-dev作为一款小型机器学习模型，专注于Jamba架构的开发测试场景。模型仅包含319M参数并完成40B tokens训练，具备快速部署和可靠输出的特点，主要应用于单元测试等开发环境。需要注意的是，该模型并未经过充分训练，不适合用于生成高质量文本内容。