Luna-AI-Llama2-Uncensored-GGUF项目概述
这是一个由TheBloke进行量化处理的Luna AI Llama2模型项目。项目基于Tap-M的Luna AI Llama2 Uncensored原始模型,采用了最新的GGUF格式进行优化和量化处理。
技术特点
- 采用新一代GGUF格式,相比旧的GGML格式具有更好的分词能力和特殊token支持
- 支持元数据,具有良好的可扩展性
- 提供多种量化版本,从2-bit到8-bit不等,可根据实际需求选择
- 兼容多种推理框架和客户端,包括llama.cpp、text-generation-webui等
支持平台
该项目可以在多个平台上运行:
- 支持text-generation-webui等网页界面
- 兼容LM Studio等GUI工具
- 可通过Python库如ctransformers进行调用
- 支持KoboldCpp等专用界面
- 可与LangChain等框架集成
使用方法
下载方式
- 可通过huggingface-cli命令行工具下载
- 支持text-generation-webui等客户端直接下载
- 提供多种量化版本供选择,推荐使用Q4_K_M版本
运行方式
- 可通过llama.cpp命令行直接运行
- 支持Python代码调用
- 可与LangChain等框架配合使用
- 支持GPU加速
模型许可
该项目采用cc-by-sa-4.0授权协议,同时也需遵循Meta Llama 2的授权条款。使用时需要同时符合这两个许可证的要求。
社区支持
项目开发者TheBloke提供Discord服务器用于技术交流和支持。同时也接受通过Patreon等方式的捐赠支持,以帮助项目持续发展。