#混合SSM-Transformer

Jamba-v0.1是一款创新的混合SSM-Transformer大语言模型，拥有12B活跃参数和52B总参数。它不仅提供了更高的吞吐量，还在多数常见基准测试中表现优异。该模型支持256K上下文长度，单个80GB GPU可处理多达140K个标记。作为首个生产规模的Mamba实现，Jamba为AI研究和应用开辟了广阔前景。