相关项目
koboldcpp
KoboldCpp是一款功能丰富的AI文本生成软件,支持GGML和GGUF模型。它提供KoboldAI API、多种格式支持、Stable Diffusion图像生成和语音转文本等功能。软件特性包括持久故事、编辑工具、多种保存格式、记忆系统、世界信息和作者注释。KoboldCpp支持GPU加速以提升性能,并具有直观的用户界面。这款开源软件可在多个平台上运行,为用户提供了强大而灵活的AI文本生成解决方案。
Meta-Llama-3.1-70B-Instruct-GGUF
Meta-Llama-3.1-70B-Instruct模型的GGUF格式量化版本,提供2-bit至8-bit多种精度选择。这个70B参数模型支持英语、德语、法语等多种语言,适用于文本生成任务。GGUF格式优化了本地部署和推理效率,适合在本地环境运行大型语言模型。该模型兼容多种支持GGUF的推理工具,为用户提供灵活的应用选择。
Llama-3-Smaug-8B-GGUF
Llama-3-Smaug-8B-GGUF项目提供abacusai/Llama-3-Smaug-8B模型的GGUF格式文件,支持2-bit至8-bit多级量化。项目介绍了使用llama.cpp加载模型的方法,并概述了GGUF格式及其兼容工具。该资源有助于用户了解GGUF格式,选择适合的工具进行本地部署和文本生成应用。