#LlamaEdge
stablelm-2-12b-chat-GGUF - 多样化质量需求的文本生成解决方案
Github开源项目文本生成模型量化模型HuggingfaceLlamaEdgestablelm-2-12b-chat稳定性AI
Stablelm-2-12b-chat-GGUF项目提供多种量化策略，支持多样化文本生成需求。项目由Second State Inc.完成量化，优化性能同时缩小模型体积。推荐Q5_K_M和Q5_K_S版本，以其低损失特性适合高精度文本生成。集成LlamaEdge服务和命令行应用，支持灵活的上下文配置，助力优化文本处理。
Mistral-Nemo-Instruct-2407-GGUF - 高效模型量化与优化指南
Github开源项目模型量化模型Huggingface语言支持高搜索量Mistral-Nemo-Instruct-2407LlamaEdge
该项目介绍了多语言支持的Mistral-Nemo-Instruct-2407模型，其量化版本是由Second State Inc.完成的，涵盖从2位到16位的不同精度和质量损失模型。特别推荐使用具有最小质量损失的Q5_K_M和Q5_K_S版本。此外，还提供了在LlamaEdge上运行的服务和命令行应用指南，以便在配置上下文大小和自定义提示模板时满足不同应用的需求。本项目适合于在资源有限的环境中追求性能优化的用户。
StarCoder2-7B-GGUF - 多种量化模型版本，提升代码生成性能与存储效率
Github开源项目代码生成量化模型模型模型压缩HuggingfaceStarCoder2LlamaEdge
此项目提供多种量化模型版本，旨在优化代码生成任务中的性能与存储效率。可选范围包括小容量、质量损失较大的版本到大容量、质量损失低的版本，以满足各种需求。Q4_K_M与Q5_K_M模型在质量与容量间表现出良好的平衡。该项目使用llama.cpp进行量化，适合空间与性能有特定需求的开发者。
DeepSeek-V2-Lite-Chat-GGUF - DeepSeek量化聊天模型介绍与常用配置
Github开源项目量化模型模型HuggingfaceLlamaEdge系统消息质量损失DeepSeek-V2-Lite-Chat
DeepSeek-V2-Lite-Chat-GGUF通过多种量化版本适配多样需求，其中推荐Q5_K_M版本以保证质量。用户可通过LlamaEdge实现模型运行，并根据多种上下文配置，应对不同应用场景。
Gemma-2b-it-GGUF - 多样化选择的Gemma量化模型
Github开源项目模型Google量化HuggingfaceLlamaEdgegemma-2b-it
该项目以多种量化格式提供Gemma模型，从低质量损失的小型号到几乎无质量损失的大型号，满足多样化的应用需求。模型的量化由Second State Inc.负责，旨在优化性能和存储空间，适合多种AI部署环境。选择合适型号可在性能与资源使用间达到平衡。
DeepSeek-Coder-V2-Lite-Instruct-GGUF - 完整的DeepSeek代码助手模型量化版集合
Github开源项目深度学习模型量化模型Huggingface代码开发DeepSeek-CoderLlamaEdge
这是一个专为代码编写优化的DeepSeek量化模型系列，提供从2位到16位的多种精度选项，支持通过LlamaEdge和WasmEdge进行部署。模型拥有12.8万token的上下文长度，文件大小从6.43GB到31.4GB不等。Q4_K_M和Q5_K_M版本在性能和资源占用上达到最佳平衡，适合大多数应用场景。
gemma-2-27b-it-GGUF - Gemma-2-27b-it模型的多精度GGUF量化版本
Github开源项目大语言模型模型量化模型GemmaHuggingface推理服务LlamaEdge
Gemma-2-27b-it模型的GGUF量化版本提供2至16比特的多种精度选项。基于LlamaEdge框架，支持8192上下文窗口，可通过WasmEdge以服务或命令行方式运行。Q4_K_M和Q5_K_M版本在模型大小和性能间取得平衡，适合多数应用场景。
Llava-v1.5-7B-GGUF - 轻量级多模态图文处理模型 支持多种精度量化
Github开源项目大语言模型模型量化模型HuggingfaceLLaVA图文理解LlamaEdge
Llava-v1.5-7B-GGUF是Llava 1.5 7B模型的GGUF量化版本,提供2位至8位多种精度选择,可根据性能和质量需求灵活使用。项目支持通过LlamaEdge快速部署,适用于多模态AI应用场景。该模型具备图像理解和文本生成能力,在保持性能的同时实现了模型体积的压缩。