#Self-Play Preference Optimization

该模型在第二轮自我博弈偏好优化中，通过在合成数据集上的微调实现性能提升。基于Meta-Llama-3-8B-Instruct架构，该过程从openbmb/UltraFeedback数据集中提取提示集，并通过snorkelai/Snorkel-Mistral-PairRM-DPO数据集进行三次迭代以提高生成响应的质量。在AlpacaEval和Open LLM排行榜上，该模型在语言理解和推理任务中表现出更优胜率和准确度。