Huggingface
论文项目概述
URM-LLaMa-3.1-8B是一个基于不确定性感知的奖励模型(Uncertain-aware Reward Model)。该模型基于Skywork-Reward-Llama-3.1-8B进行微调，由一个基础模型和一个不确定性感知的、特定属性的价值头部组成。
技术特点
该模型采用了两阶段训练方法：
- 属性回归训练：使用HelpSteer2数据集，创新性地通过正态分布参数采样的方式输出分数，并使用重参数化技术实现梯度反向传播
- 门控层学习：借鉴ArmoRM的思路，使用Skywork-Reward-Preference-80K-v0.1数据集学习一个门控层，用于组合多个属性分数
核心功能
该模型能够评估对话响应的以下5个关键属性：
- 帮助性(Helpfulness)
- 正确性(Correctness)
- 连贯性(Coherence)
- 复杂性(Complexity)
- 冗长度(Verbosity)
实际应用
模型可以通过Python编程轻松调用。开发者可以使用transformers库加载模型，输入对话内容后获取评分。模型会对不同的回答给出分数评估，帮助识别更优质的回答。
技术创新
该项目的主要创新点在于：
- 引入不确定性感知机制，使模型能够认知未知情况
- 采用两阶段训练方法，提升模型性能
- 使用灵活的门控层替代固定权重，优化多属性分数的组合方式
开源贡献
项目在Hugging Face上开源，提供了完整的模型文件和使用示例。研究人员在使用该模型时，可以通过引用相关论文来支持这项研究工作。这个项目为大语言模型的奖励建模领域提供了新的研究思路和实践参考。
