Github
HuggingfaceWizard Vicuna 30B Uncensored - GGUF项目介绍
项目背景
Wizard Vicuna 30B Uncensored是由Eric Hartford创建的一个人工智能模型，它专门用于生成详细、礼貌且有帮助的回答。这个模型以llama为基础，使用了ehartford/Wizard-Vicuna-30B-Uncensored作为其原始模型。该项目当前在推理应用中不可用，因此该模型主要用于研究和开发用途。
项目特点
无审查特性
这个模型的标签为“不审查”，这意味着它在生成对话时不会过滤掉某些内容，为用户提供更加自然和开放的交互体验。
数据集
Wizard Vicuna 30B Uncensored模型是通过ehartford提供的wizard_vicuna_70k_unfiltered数据集训练而成，这个数据集未经过滤，涵盖了广泛的话题，以提升模型在多样化情境下的表现。
GGUF格式
什么是GGUF？
GGUF是一种由llama.cpp项目团队在2023年8月引入的新格式，它用来替代GGML格式。作为一种模型文件格式，GGUF得到了广泛的第三方接口和库支持。
支持GGUF的客户端和库
- llama.cpp：提供命令行和服务器选项，作为GGUF的源项目。
- text-generation-webui：广泛使用的Web UI，支持GPU加速。
- KoboldCpp：为跨平台和各种GPU架构提供支持的Web UI。
- LM Studio：Windows和macOS用户友好的本地GUI。
- LoLLMS Web UI：提供丰富的模型选择库和独特功能的Web UI。
- Faraday.dev：针对Windows和macOS的基于角色的聊天GUI。
- ctransformers：带有GPU加速的Python库。
- llama-cpp-python和candle：分别为Python和Rust提供的库，支持高性能和易用的操作体验。
提供的库
- AWQ模型：适用于GPU推理。
- GPTQ模型：提供多种量化参数选项，适用于GPU推理。
- 不同位数的GGUF模型：支持CPU+GPU推理。
- 原始未量化的fp16模型：适用于GPU推理或其他转换。
使用示例
用户可以通过huggingface-cli工具快速下载指定的GGUF文件，并根据具体的需求选择适合的模型文件。以下是简单的命令行下载示例：
huggingface-cli download TheBloke/Wizard-Vicuna-30B-Uncensored-GGUF --local-dir . --local-dir-use-symlinks False --include='*Q4_K*gguf'
模型的使用
在Python中，可以使用ctransformers库加载这些模型：
from ctransformers import AutoModelForCausalLM
llm = AutoModelForCausalLM.from_pretrained("TheBloke/Wizard-Vicuna-30B-Uncensored-GGUF", model_file="Wizard-Vicuna-30B-Uncensored.Q4_K_M.gguf", model_type="llama", gpu_layers=50)
print(llm("AI is going to"))
总结
Wizard Vicuna 30B Uncensored是一款功能强大的人工智能模型，它利用新的GGUF格式提供多样化的使用选择，并为用户提供开放的对话模式。这款模型在机器学习和自然语言处理领域提供了广泛的研究和开发潜力。结合多样化的数据集和无审查特性，该项目为用户提供了全面的应用支持。
