访问官网
Huggingface
论文项目介绍：Falcon-Mamba-7B
简介
Falcon-Mamba-7B 是一款由阿布扎比技术创新研究院（TII）开发的强大文本生成模型。这一模型采用因果解码架构，并且主要应用于生成英语文本。模型的架构命名为“Mamba”，其设计通过学习和预测下一个文本token的方式实现文本生成。Falcon-Mamba-7B 的开发和分发受 TII Falcon-Mamba License 2.0 许可证约束。
使用方法
用户可以在不同环境下（如 CPU 和 GPU）使用 Falcon-Mamba-7B 模型。模型已集成至 Transformers 库中，并可通过安装相关包进行调用。
使用示例代码：
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("tiiuae/falcon-mamba-7b")
model = AutoModelForCausalLM.from_pretrained("tiiuae/falcon-mamba-7b")
input_text = "Question: How many hours in one day? Answer: "
input_ids = tokenizer(input_text, return_tensors="pt").input_ids
outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))
训练细节
Falcon-Mamba-7B 模型的训练使用了大约 5,500 GT 的数据，其主要来源于 Refined-Web，这是一个经过筛选和去重的纯网络数据集。通过多阶段训练策略，该模型将上下文长度从 2,048 提升至 8,192。此外，受课程学习理念启发，其训练过程注重数据的多样性与复杂性。
模型的训练在 256 个 80GB 的 H100 GPU 上进行，使用 3D 并行策略结合 ZeRO 优化技术。训练中采用的超参数包括：
- 精度：
bfloat16 - 优化器：AdamW
- 最大学习率：6.4e-4
- 权重衰减：1e-1
- 批量大小：2048
模型评估
在模型性能评估方面，Falcon-Mamba-7B 在多个基准数据集上进行了测试，包括 IFEval、BBH、MATH Lvl 5、GPQA、MuSR 和 MMLU-PRO。评估结果显示该模型在各种文本生成任务中具有一定竞争力，尤其在 IFEval 数据集测试中，其严格准确率达到了 33.36。
技术规格
模型架构与目标
Falcon-Mamba-7B 是一款仅用因果语言模型任务（预测下一个文本 token）训练的因果解码器。其设计基于 Mamba 架构，主要参数为：
- 层数：64
- 隐层维度：4096
- 状态维度：16
- 词汇表大小：65024
- 序列长度：8192（在最后训练阶段）
计算基础设施
模型训练在 AWS SageMaker 平台进行，平均使用 256 个 H100 80GB GPU。同时，它借助内部的分布式训练代码库 Gigatron，并结合 3D 并行和 ZeRO 来提高训练效率。
总结
Falcon-Mamba-7B 是一款创新的语言模型，凭借其在没有注意力机制的情况下仍保持良好性能的能力，成为语言模型领域中的重要一员。模型的开发基于先进的技术架构，并经过精心设计以提供高质量的文本生成服务。
