#Beaver

safe-rlhf

Safe RLHF是一个由北京大学PKU-Alignment团队开发的开源框架，整合了SFT、RLHF及Safe RLHF训练方法。它支持多种预训练模型，提供大量人工标注数据，能够训练奖励与成本模型，并采用多层次的安全性校验指标。最新发布的版本提供详尽的复现代码和数据集，旨在增强AI模型的安全性和实用性。