#OpenRLHF

OpenRLHF是一款基于Ray、DeepSpeed和Hugging Face Transformers构建的高性能强化学习框架。该框架简单易用，兼容Hugging Face模型和数据集，性能优于优化后的DeepSpeedChat。它支持分布式RLHF，能够在多GPU环境下进行70B+参数模型的全规模微调。OpenRLHF集成了多项PPO实现技巧以提升训练稳定性，同时支持vLLM生成加速和多奖励模型等先进特性，为大规模语言模型优化提供了强大支持。

Llama-3-8b奖励模型利用OpenRLHF进行训练，结合OpenLLMAI的数据集，旨在提高模型性能。该项目基于Llama-3-8b-sft-mixture模型，使用余弦调度器，学习率为9e-6，预热比例0.03，批量大小256，并执行一次学习迭代。目标是通过优化和数据集策略，提升模型的奖励决策能力，为深度学习与AI开发者提供精确的工具。