#Gemma-2-9B-It-SPPO-Iter3
SPPO: 自对弈偏好优化方法推动大语言模型对齐新突破
2 个月前
相关项目
SPPO
SPPO采用自我对弈框架和新的学习目标，有效提升大规模语言模型性能。通过理论推导和多数据集实证验证，SPPO无需外部信号即可超越GPT-4等模型。该项目源代码和多个优化模型如Mistral-7B、Llama-3-8B、Gemma-2-9B均已开源，详情可参考相关论文。
Gemma-2-9B-It-SPPO-Iter3
Gemma-2-9B-It-SPPO-Iter3以google/gemma-2-9b-it为基础，经过第三次自我游戏偏好优化迭代开发，结合openbmb/UltraFeedback数据集微调。在合成数据集中展现了出色的性能，LC.获胜率达到53.27%，在AlpacaEval排行榜上表现优良。项目主要使用英语，遵循Apache-2.0许可，适用于多种自然语言处理场景。
Gemma-2-9B-It-SPPO-Iter3-GGUF
该项目利用llama.cpp进行量化，推出多种Gemma-2-9B-It-SPPO-Iter3模型版本以适应不同的内存及性能需求。用户可按RAM和VRAM状况选择合适的量化格式，如高质量的Q6_K_L或经济型IQ2_M。量化文件大小介于4GB至37GB之间，且可通过Huggingface下载。根据VRAM选择合适模型尺寸，有助于优化运行速度，并提供多样化选项以满足不同性能与存储需求。