Wizard-Vicuna-7B-Uncensored-GPTQ - 支持多平台推理的高效GPTQ模型文件

Wizard-Vicuna-7B-Uncensored-GPTQ项目介绍

项目概述

Wizard-Vicuna-7B-Uncensored-GPTQ是一个专注于提供高质量对话功能的人工智能项目。该项目由Eric Hartford创建，基于Llama模型开发，并通过GPTQ技术进行量化。项目的特色在于其无删减特性，意在提供一种不受限的人工智能助手，以便用户自行定义AI的行为规范。此模型可用于丰富多样的GPU推断场景，并提供了多种量化参数选项，适配不同硬件环境。

项目背景

这一模型基于ehartford/Wizard-Vicuna-7B-Uncensored原版模型，是Wizard Vicuna 13B模型的子集。创建此模型的目的在于去除道德审查和准则，让用户能够基于自身需求实现特定的行为校准，例如通过强化学习(如RLHF LoRA)进行独立的准则定制。

模型文件与量化参数

项目提供了多种GPTQ参数配置，以便用户选择最适合其硬件和使用需求的版本。不同的量化参数文件被分布于各个文件分支中，包括但不限于以下关键参数：

位数(Bits)：量化模型的位大小。
GPTQ组大小(GS)：影响VRAM使用量和量化精度。
操作顺序(Act Order)：控制量化准确性。
阻尼百分比(Damp %)：影响样本处理的量化参数。
数据集(GPTQ Dataset)：用于量化的数据集。
序列长度(Sequence Length)：量化时数据集序列的长度。

这些参数组合旨在优化模型的推理质量和硬件适配性。

使用说明

用户可以通过如Python代码或文本生成工具等多种方式进行模型调用。针对Python用户，建议安装相应的包如Transformers、Optimum和AutoGPTQ以确保兼容性。此外，项目提供了详细的安装和使用指南，帮助用户快速上手。

社区及支持

该项目由TheBloke AI的Discord服务器提供支持，用户可以通过加入Discord社区获得深入的项目讨论和帮助。此外，项目还在Patreon和Ko-Fi平台接受捐助，支持者将获得优先支持和更多权益。

警告与免责声明

请注意，Wizard-Vicuna-7B-Uncensored-GPTQ为无删减模型，缺乏保护措施。用户需为模型的应用和传播负责，任何使用场景都需谨慎对待，如同使用其他危险物品一样。

致谢

感谢开放源代码AI/ML社区的支持，特别感谢a16z的慷慨资助，使此项目得以实现和推广。