#模型对齐
相关项目
BPO
Black-Box Prompt Optimization (BPO) 是一种新型大语言模型对齐技术，无需模型训练即可提升性能。项目通过创新方法缩小人类与AI模型间的差距，在Vicuna Eval评估中优于gpt-3.5-turbo和claude-2，并超越PPO和DPO方法。BPO提供完整的模型、数据集、演示和使用指南，为AI研究和开发提供全面支持。
NeMo-Aligner
NeMo-Aligner是NVIDIA开发的语言模型对齐工具包，支持SteerLM、DPO和RLHF等算法，用于调整模型以提高安全性和实用性。基于NeMo Toolkit构建，支持大规模GPU并行处理，提供监督微调和奖励模型训练等功能。与NeMo生态系统兼容，便于模型部署和进一步定制。