#KTO

HALOs

该项目提供灵活的平台，用于设计和优化人类意识的损失函数，旨在大规模地与离线人类反馈对齐大型语言模型。通过模块化数据加载和训练架构，支持包括KTO、PPO等多种损失策略，并提供基于GPT-4的开放式评估功能。建议阅读项目的技术报告和完整论文以获取更多信息。