Github
HuggingfaceLlama-3.1-8B-Lexi-Uncensored-V2-GGUF 项目介绍
项目背景
Llama-3.1-8B-Lexi-Uncensored-V2-GGUF 是一个基于 Llama-3.1-8B-Instruct 模型的量化版本。该模型旨在提供更高效的文本生成能力，使用 Meta Llama 3.1 社区许可协议进行治理。它由 Orenguteng 创建，并进一步增强为 V2 版本，提供更加智能和合规的文本生成响应。
模型功能
这个模型主要用于文本生成任务。Llama-3.1-8B-Lexi-Uncensored-V2 无法阻止对不合适内容的生成请求，因此用户在使用时需要加入自己的对齐层。该模型高度合规，能够满足绝大多数请求，包括那些不道德的请求。因此，用户需要对使用该模型生成的内容负责，倡导负责任地使用。
模型更新
在版本 2 中，该模型进行了重要的增强：
- 增强了智能性
- 增加了合规性
- 推荐使用逻辑推理和智力判断的系统提示，以获得最佳响应
- 发现 Q4 可能有拒绝问题，建议使用 F16 或 Q8 版本以改善此问题
此外，开发者还提醒在推理过程中必须包含系统标识符，即使是设置空的系统信息。
评价结果
根据 Open LLM Leaderboard 提供的评估，该模型在多个不同的文本生成任务中表现如下：
- IFEval (0-Shot)：严格准确率为 77.92
- BBH (3-Shot)：规范化准确率为 29.69
- MATH Lvl 5 (4-Shot)：准确匹配率为 16.92
- GPQA (0-Shot)：规范化准确率为 4.36
- MuSR (0-Shot)：规范化准确率为 7.77
- MMLU-PRO (5-Shot)：准确率为 30.9
整体表现的平均值为 27.93，这些数据可以为用户提供一个关于模型能力的全貌理解。
使用及反馈
对于任何发现的问题或有改善建议，用户可以在模型页面留下反馈，帮助开发者进一步改进和升级模型版本。
总之，Llama-3.1-8B-Lexi-Uncensored-V2-GGUF 是一个强大的文本生成工具，适合那些希望大规模应用生成技术的研究者与开发者。使用该模型时，建议在应用前加入合适的道德和安全措施。
