#GGUF格式
Swallow-7B-Instruct-GGUF - 适用于多平台的高效量化模型
GGUF格式Swallow 7B InstructHuggingface文本生成量化开源项目模型GithubGPU加速
Swallow 7B Instruct 采用GGUF格式，以高效的量化技术实现文本生成。该模型支持多种位数和硬件平台，可通过llama.cpp及text-generation-webui等软件使用并提供GPU加速，适合于需要高质量文本生成的多种应用。
Guanaco-13B-Uncensored-GGUF - 新型GGUF格式提高推理性能，兼容多种用户界面
兼容性陈旧模型量化GGUF格式模型Guanaco 13B UncensoredGithub开源项目Huggingface
Guanaco 13B Uncensored采用了新的GGUF格式，增强了令牌化和特殊令牌的支持。此格式由llama.cpp团队于2023年推出，替代不再支持的GGML。项目兼容多种客户端和库，如llama.cpp、text-generation-webui及KoboldCpp，适合于多种GPU加速场景。用户可以通过text-generation-webui下载所需模型，或利用huggingface-hub获取特定文件。项目还提供与编程语言如Python的集成方案，支持LangChain等框架。此项目提供多种形式的模型文件及下载途径，适用于多种用户界面和使用场景，为开发者提供了灵活的选择和集成方案。
gemma-2-27b-it-GGUF - gemma-2-27b-it模型的GGUF量化版本适配多种硬件配置
模型量化模型Github开源项目HuggingfaceGGUF格式gemma-2-27b-it大语言模型文件下载
本项目提供gemma-2-27b-it模型的多种GGUF量化版本，涵盖从高质量Q8_0到紧凑型IQ2_M。用户可根据RAM和VRAM选择适合的模型。项目包含下载指南、模型选择建议和性能对比，便于部署和使用这些优化模型。
DeepSeek-V2.5-GGUF - 大规模语言模型的GGUF量化版本集合适用于本地部署
量化模型Huggingface模型LLM推理大语言模型GithubGGUF格式开源项目DeepSeek-V2.5
本项目提供DeepSeek-V2.5模型的多种GGUF量化版本,适合本地部署。量化版本从250GB高精度到61GB轻量,满足不同硬件需求。项目详述各版本特点、大小和用途,并附选择指南。用户可依据硬件条件和性能需求,选择合适的量化版本,实现大规模语言模型的高效本地部署。
mathstral-7B-v0.1-GGUF - Mistral 7B衍生的量化数学推理模型
模型开源项目HuggingfaceGGUF格式mistralai文本生成Github人工智能数学模型
mathstral-7B-v0.1-GGUF是基于Mistral 7B开发的数学和科学任务专用模型。项目提供GGUF格式的2-8位量化版本，兼容多种推理框架。在MATH、GSM8K等数学推理基准测试中表现优异，体现了其卓越的数学推理能力。该模型支持多种开源工具，如llama.cpp、text-generation-webui等，方便用户在不同环境中部署和使用。
Mistral-7B-Instruct-v0.3-GGUF - 高性能量化版指令调优大语言模型
模型开源项目语言模型HuggingfaceGGUF格式文本生成Github本地部署Mistral-7B-Instruct
本项目提供Mistral-7B-Instruct-v0.3模型的GGUF格式量化版本。GGUF是llama.cpp团队开发的新格式，兼容多种客户端和库。模型支持2-8位量化，可在不同平台上实现GPU加速，适合文本生成和对话应用。这为在本地设备部署高性能大语言模型提供了便捷解决方案。
Llama-3-8B-Instruct-v0.10-GGUF - Llama-3指令模型的GGUF格式量化版本 支持2-8比特精度
模型Llama-3开源项目HuggingfaceGGUF格式文本生成Github本地部署量化模型
这是Llama-3-8B-Instruct-v0.10模型的GGUF格式量化版本，提供2-bit至8-bit的精度选项。GGUF是llama.cpp团队开发的新格式，取代了GGML，支持多种客户端和库。该项目使用户能够在本地设备上高效运行大型语言模型，适用于文本生成任务。
Yi-Coder-9B-Chat-GGUF - 多位宽量化的Yi-Coder-9B-Chat GGUF代码生成模型
模型GPU加速开源项目HuggingfaceGGUF格式Yi-Coder-9B-Chat本地运行Github模型文件
Yi-Coder-9B-Chat-GGUF是01-ai原始代码生成模型的GGUF格式版本，提供2至8位量化选项。该模型兼容多种GGUF支持工具，如llama.cpp和LM Studio，便于本地部署。不同位宽的量化版本可满足各种性能和资源需求，适用于多样化的代码生成场景。
Llama-3.2-1B-Instruct-Q8_0-GGUF - 高性能指令型大语言模型的GGUF格式版本
模型Llama 3.2开源项目llama.cppHuggingfaceGGUF格式Github大语言模型Meta
Llama-3.2-1B-Instruct模型的GGUF格式版本专为高效推理而设计。该版本保留了原始模型的指令遵循能力,同时优化了推理速度和内存使用。通过llama.cpp,用户可在多种硬件上部署此模型,实现快速、资源友好的本地AI推理。这款1B参数的轻量级模型适用于个人电脑和边缘设备,为广泛应用场景提供了便利的AI解决方案。
replit-code-1.5 - 支持30种编程语言的AI代码补全模型
模型Github开源项目Replit Code语言模型HuggingfaceGGUF格式代码补全编程语言
Replit Code V-1.5 3B是一个3.3B参数的代码补全模型，支持30种主流编程语言。该模型在1万亿代码token上训练，采用32768 token的优化词汇表，上下文长度为4096 token。开发者可通过transformers库使用该模型，也可选用Triton实现的Flash Attention提升性能。作为AI辅助编码工具，它能够适应多种代码补全场景，提高编程效率。
Qwen2.5-Coder-7B-Instruct-GGUF - 基于Qwen2.5的7B参数代码专用模型支持超长文本输入与代码生成
GGUF格式大语言模型Github开源项目指令微调模型HuggingfaceQwen2.5-Coder代码生成
Qwen2.5-Coder-7B-Instruct-GGUF是一款开源的代码专用大语言模型，通过5.5万亿token的训练提升了代码生成和推理能力。模型采用transformers架构，参数规模为7.61B，具备32K-128K的长文本处理能力。该模型在保持通用能力的同时优化了编程相关任务，支持GGUF格式并可通过llama.cpp部署，适用于代码智能体等实际应用场景。
Qwen2.5-3B-Instruct-GGUF - 高性能3B参数量GGUF格式大语言模型，支持多语言、长文本理解与结构化输出
大语言模型Qwen2.5开源项目自然语言处理模型人工智能HuggingfaceGGUF格式Github
Qwen2.5-3B-Instruct-GGUF是一款基于Qwen2.5系列的指令微调模型，参数量为3B。该模型支持29种语言，具备出色的代码和数学处理能力。它可处理128K tokens的上下文，生成长度达8K tokens的文本。模型采用transformers架构，整合了RoPE和SwiGLU等技术，并提供多种量化版本。其优势在于强大的指令跟随能力、结构化数据理解和JSON输出能力，适用于多样化的系统提示词场景。
Qwen2-0.5B-Instruct-GGUF - 高性能轻量级开源语言模型 支持多种量化等级
自然语言处理开源项目量化模型Qwen2GithubHuggingface模型语言模型GGUF格式
Qwen2-0.5B-Instruct模型提供多种GGUF格式量化版本，从q2_k到q8_0不等。模型基于Transformer架构，使用SwiGLU激活和改进的分组查询注意力，支持多语言及代码处理。经过大规模预训练和监督微调，可通过llama.cpp部署，支持OpenAI API兼容调用。在WikiText困惑度测试中表现优秀，为轻量级开源语言模型应用提供了便利选择。
claude2-alpaca-13B-GGUF - 量化GGUF格式模型文件的功能概述与应用方法
Claude2 Alpaca 13BGPU加速模型兼容性Huggingface量化方法Github开源项目模型GGUF格式
Claude2 Alpaca 13B项目提供了多种量化的GGUF格式模型文件，用于实现硬件高效支持下的模型推理。项目由UMD的Tianyi Lab创建，并由TheBloke量化，提供多种参数选项以满足不同的推理需求。该模型兼容llama.cpp等第三方UI和库，广泛支持GPU加速，并涵盖下载范围从最小到超大内存需求的GGUF模型，适合多种使用场景。