#DeepSeek-Coder
DeepSeek-Coder-V2-Lite-Instruct-GGUF - 高性能代码模型的多版本量化优化支持多种硬件推理应用
代码生成开源项目量化模型模型人工智能Huggingface模型压缩DeepSeek-CoderGithub
本项目针对DeepSeek-Coder-V2-Lite-Instruct模型进行量化优化,提供20多种GGUF格式文件,大小从6GB到17GB不等。采用llama.cpp的imatrix技术实现高效压缩,同时保持模型性能。用户可根据硬件条件选择适合的版本,支持NVIDIA、AMD等平台的深度学习推理。
DeepSeek-Coder-V2-Lite-Instruct-GGUF - 完整的DeepSeek代码助手模型量化版集合
DeepSeek-CoderGithub开源项目LlamaEdge代码开发Huggingface深度学习模型量化模型
这是一个专为代码编写优化的DeepSeek量化模型系列,提供从2位到16位的多种精度选项,支持通过LlamaEdge和WasmEdge进行部署。模型拥有12.8万token的上下文长度,文件大小从6.43GB到31.4GB不等。Q4_K_M和Q5_K_M版本在性能和资源占用上达到最佳平衡,适合大多数应用场景。