访问官网
Github
Huggingface
论文Lumimaid-v0.2-12B-GGUF-IQ-Imatrix项目介绍
项目概述
Lumimaid-v0.2-12B-GGUF-IQ-Imatrix是基于NeverSleep团队开发的Lumimaid系列模型的一个量化版本。该模型的基础版本是12B参数的Lumimaid-v0.2，由用户Lewdiculous进行量化处理，采用了先进的Imatrix量化技术。Lumimaid模组是一个专注于角色扮演和创意娱乐的语言模型，可广泛应用于字面游戏和互动故事中。
项目背景
NeverSleep开发的Lumimaid系列始终以Meta-Llama-3.1-8B-Instruct为基础。在版本0.2中，团队对模型涵盖的数据集进行了重大改进，不断添加和清理数据，以确保模型的回答更为准确和流畅。原始数据集来源于多个高质量的文本数据源，以保证模型在角色扮演场景中的出色表现。
模型量化
此次量化采用Imatrix量化技术，该技术起源于FP16-GGUF，以及从BF16-GGUF直接转换而来。尽管这一过程对于计算资源有较高要求，但其目标是最大程度降低数据转化过程中的可能损失。用户推荐使用最新版的KoboldCpp运行此量化模型。
特性和推荐设置
-
兼容性: Lumimaid-v0.2-12B-GGUF-IQ-Imatrix支持与SillyTavern等角色扮演环境的预设兼容性，可在Virt's Roleplay Presets - v1.9中找到支持的预设组合。
-
推荐设置: 作者推荐在较低的温度设置下使用该模型，以获得最佳效果。
使用建议
使用者可以通过discussion页面与开发者交流，反馈模型在使用中的问题和优点。此外，对于需要额外支持的用户，作者在Ko-fi平台上提供支持选项，用户可以在自愿和有能力的情况下为该项目贡献支持。
项目支持与社区贡献
Lumimaid项目由包括Undi和IkariDev在内的多个贡献者进行开发和维护。社区和项目支持者可以通过访问不同的在线平台（如Ko-fi、GitHub等）进一步贡献和参与项目的迭代和优化。
