Mistral-Nemo-12B-ArliAI-RPMax-v1.1-GGUF 项目介绍
RPMax 系列概述
Mistral-Nemo-12B-ArliAI-RPMax-v1.1 是 RPMax 模型系列中的一员。RPMax 系列模型是基于多样化的创意写作和角色扮演(RP)数据集进行训练的。这些数据集经过精心挑选,注重多样性和去重,确保模型在创意和非重复性方面表现出色。数据集中避免了角色或情境的重复,以确保模型不偏于某种固定的个性,并能够适应各种角色和情境。
用户的早期测试反馈表明,这些模型与其他 RP 模型不同,具有独特的风格和多样性,表现得不似“近亲繁殖”。
可以通过 ArliAI 访问该模型,并在 reddit 上进行提问。更多模型排名请访问 ArliAI 模型排名页面。有任何问题还可以加入我们的 Discord 服务器。
模型描述
Mistral-Nemo-12B-ArliAI-RPMax-v1.1 是基于 Mistral Nemo 12B Instruct 2407 的一个变体。由于 Mistral 本身以相对未过滤的特性闻名,这个版本被认为是 RPMax 中最成功的模型之一。
训练细节
- 序列长度:8192
- 训练时长:约 2 天,使用 2x3090Ti 进行训练
- 周期数:1 个周期,以减少重复现象
- QLORA:64-rank 128-alpha,大致 ~2% 的可训练权重
- 学习率:0.00001
- 梯度累积:非常低的 32,以便于更好的学习
量化
该模型以多种量化格式提供:
建议的提示格式
模型支持 Mistral 指定的提示格式,这有助于提高交互的效果和模型输出的质量。