TRL是一个开源的全栈工具库，专用于大型语言模型的微调和对齐。它支持监督式微调、奖励建模和近端策略优化等方法，适用于多种模型架构。该库基于Transformers构建，提供灵活的训练器和自动模型类，并集成Accelerate、PEFT等工具实现高效扩展。TRL还提供命令行界面，方便用户进行模型微调和交互。