Github
Huggingface
论文ORPO
更新 (24.03.25)
- 在 🤗TRL 中添加了 ORPOTrainer 的示例脚本，位于
trl/test_orpo_trainer_demo.py - 新模型 🤗kaist-ai/mistral-orpo-capybara-7k 已添加到 🤗ORPO 集合
- 现在您可以在 🤗TRL、Axolotl 和 LLaMA-Factory 中尝试 ORPO🔥
- 我们正在制定使用 ORPO 训练 LLMs 的通用指南，敬请期待🔥
- Mistral-ORPO-β 在官方 AlpacaEval 排行榜上的长度控制（LC）胜率达到了 14.7%🔥
这是 ORPO：无参考模型的整体偏好优化 的官方仓库。论文中的详细结果可以在以下位置找到：
模型检查点
我们使用 ORPO 训练的模型可以在以下位置找到：
- Mistral-ORPO-Capybara-7k：🤗 kaist-ai/mistral-orpo-capybara-7k
- Mistral-ORPO-⍺：🤗 kaist-ai/mistral-orpo-alpha
- Mistral-ORPO-β：🤗 kaist-ai/mistral-orpo-beta
训练期间所选/被拒绝响应的平均对数概率的相应日志报告在：
- Mistral-ORPO-Capybara-7k：待更新
- Mistral-ORPO-⍺：Mistral-ORPO-⍺ 的 Wandb 报告
- Mistral-ORPO-β：Mistral-ORPO-β 的 Wandb 报告
AlpacaEval
MT-Bench
IFEval
IFEval 分数是通过应用聊天模板使用 EleutherAI/lm-evaluation-harness 测量的。Llama-2-Chat (70B)、Zephyr-β (7B) 和 Mixtral-8X7B-Instruct-v0.1 的分数最初在这条推文中报告。
| 模型类型 | 提示-严格 | 提示-宽松 | 指令-严格 | 指令-宽松 |
|---|---|---|---|---|
| Llama-2-Chat (70B) | 0.4436 | 0.5342 | 0.5468 | 0.6319 |
| Zephyr-β (7B) | 0.4233 | 0.4547 | 0.5492 | 0.5767 |
| Mixtral-8X7B-Instruct-v0.1 | 0.5213 | 0.5712 | 0.6343 | 0.6823 |
| Mistral-ORPO-⍺ (7B) | 0.5009 | 0.5083 | 0.5995 | 0.6163 |
| Mistral-ORPO-β (7B) | 0.5287 | 0.5564 | 0.6355 | 0.6619 |
