Rho-1: 并非所有词元都是您所需要的

[📜 Arxiv] • [💬 HF论文] • [🤗 模型] • [🐱 GitHub]

图1：Rho-1采用选择性语言建模（SLM）进行预训练。SLM将GSM8k和MATH的平均少样本准确率提高了16%以上，实现基线性能的速度快5-10倍。

🔥 新闻

• [2024/04/12] 🔥🔥🔥 Rho-Math-v0.1模型在🤗 HuggingFace上发布！
  • Rho-Math-1B和Rho-Math-7B在MATH数据集上分别达到15.6%和31.0%的少样本准确率，仅使用3%的预训练词元就与DeepSeekMath相匹配。
  • Rho-Math-1B-Interpreter是第一个在MATH上准确率超过40%的1B大语言模型。
  • Rho-Math-7B-Interpreter在MATH数据集上达到52%的准确率，仅使用69k样本进行微调。
• [2024/04/11] Rho-1论文和代码库发布。

💡 简介

Rho-1基础模型在预训练中采用选择性语言建模（SLM），有选择地训练与所需分布一致的干净有用的词元。

选择性语言建模（SLM）

图2： 上图：即使经过广泛过滤的预训练语料库仍包含词元级噪声。 左图：以往的因果语言建模（CLM）对所有词元进行训练。 右图：我们提出的选择性语言建模（SLM）有选择地对那些有用且干净的词元应用损失。

图3：选择性语言建模的流程。 SLM通过在预训练期间专注于有价值、干净的词元来优化语言模型性能。 它包括三个步骤： （步骤1）首先，在高质量数据上训练参考模型。 （步骤2）然后，使用参考模型对语料库中每个词元的损失进行评分。 （步骤3）最后，有选择地对那些相对于参考损失显示更高超额损失的词元训练语言模型。

评估结果

基础模型（少样本思维链）：

工具集成推理（代码解释器）：

🚀 快速开始

评估

cd rho-1/math-evaluation-harness

基础模型少样本评估：

bash scripts/run_eval.sh cot microsoft/rho-math-7b-v0.1

SFT模型（代码解释器）评估：

bash scripts/run_eval.sh tora microsoft/rho-math-7b-interpreter-v0.1

我们复现的输出结果已提供在rho-1/outputs.zip中。

🍀 贡献

本项目欢迎贡献和建议。大多数贡献需要你同意贡献者许可协议（CLA），声明你有权利授予我们使用你的贡献的权利。详情请访问 https://cla.opensource.microsoft.com。

☕️ 引用

如果你觉得这个仓库有帮助，请考虑引用我们的论文：

@misc{lin2024rho1,
      title={Rho-1: Not All Tokens Are What You Need}, 
      author={Zhenghao Lin and Zhibin Gou and Yeyun Gong and Xiao Liu and Yelong Shen and Ruochen Xu and Chen Lin and Yujiu Yang and Jian Jiao and Nan Duan and Weizhu Chen},
      year={2024},
      eprint={2404.07965},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

🌟 Star历史