Github
Huggingface项目概述
这是一个基于Mistral语言模型的融合项目，通过mergekit工具将两个预训练语言模型进行融合，创建了一个新的语言模型。该项目采用了先进的SLERP(球面线性插值)融合方法，旨在结合两个基础模型的优势特点。
基础模型组成
该项目融合了以下两个基础模型：
- Undi95/Mistral-RP-0.1-7B
- MaziyarPanahi/NSFW_DPO_Noromaid-7b-Mistral-7B-Instruct-v0.1
技术细节
模型架构
- 模型采用32层神经网络架构
- 使用bfloat16数据类型进行计算
- 基于Alpaca提示模板进行交互
融合方法
采用SLERP融合方法，通过精心调整的参数配置来控制融合过程：
- 自注意力机制(self_attn)层采用[0, 0.5, 0.3, 0.7, 1]的权重配比
- MLP层采用[1, 0.5, 0.7, 0.3, 0]的权重配比
- 其他张量采用0.5的默认权重值
使用方式
该模型使用Alpaca格式的提示模板，用户可以按以下格式与模型进行交互：
Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction:
[用户输入指令]
### Response:
[模型回应]
技术优势
- 通过mergekit工具实现精确的模型融合
- 采用SLERP方法保证融合的平滑性和稳定性
- 细粒度的参数配置确保融合效果的可控性
- 支持transformers库，便于集成和使用
