Github
Huggingface项目概述
L3-8B-Stheno-v3.2-GGUF-IQ-Imatrix是一个基于Sao10K/L3-8B-Stheno-v3.2模型的量化版本，由开发者Lewdiculous完成量化工作。该项目主要面向角色扮演场景，使用llama3技术，并可与SillyTavern平台完美集成。
技术特点
该项目采用了最新的量化技术，通过FP16-GGUF生成Imatrix数据，并直接从BF16-GGUF进行转换。这种方法虽然在磁盘和计算资源上要求较高，但能最大程度保证转换质量，减少信息损失。
硬件要求
对于拥有8GB显存的GPU用户，推荐使用Q4_K_M-imat量化版本（4.89 BPW），可支持高达12288的上下文大小，满足大多数使用场景需求。
功能提升
相比v3.1版本，该模型在多个方面都有显著提升：
- 更好地平衡了SFW（适合工作场合）和NSFW内容
- 故事写作和叙事能力得到增强
- 提升了助手类任务的处理能力
- 改善了多轮对话的连贯性
- 提高了对提示词和指令的遵循度
使用建议
模型推荐的采样参数设置如下：
- 温度：1.12-1.22
- 最小概率：0.075
- Top-K：50
- 重复惩罚：1.1
支持与反馈
用户可以通过多种方式获取支持：
- 访问原作者Sao10K的页面获取反馈和支持
- 在SillyTavern预设集合中查找兼容的预设配置
- 通过讨论区分享使用体验和建议
开源协议
项目采用cc-by-nc-4.0协议授权，支持非商业用途的使用和分享。为了保持良好的生态环境，建议用户在使用过程中遵守协议规定。
