#Phi-3.5
Phi-3.5-mini-instruct-GGUF - Microsoft Phi-3.5-mini模型的GGUF格式多位宽量化版本
本地部署模型Github文本生成量化模型Phi-3.5Huggingface开源项目GGUF
此项目提供Microsoft Phi-3.5-mini-instruct模型的GGUF格式量化版本。GGUF是llama.cpp团队推出的新格式，取代了GGML。支持2-bit至8-bit多种量化位宽，兼容多个GGUF支持工具，如llama.cpp和LM Studio。这些工具具备GPU加速和Web界面，便于本地部署和使用大型语言模型。
Phi-3.5-mini-instruct-bnb-4bit - 轻量级多语言模型支持高效微调和长文本理解
微调模型Phi-3.5长上下文开源项目HuggingfacetransformersGithub多语言
Phi-3.5-mini-instruct是一款轻量级开源语言模型,支持128K上下文长度。经过监督微调和优化,该模型在多语言能力和长文本理解方面表现出色。适用于内存受限环境、低延迟场景和推理任务,可作为AI系统的基础组件。在商业和研究领域都有广泛应用前景。
Phi-3.5-mini-instruct - Unsloth加速技术让开源语言模型训练更高效
微调长上下文开源项目模型GithubHuggingfacePhi-3.5多语言Unsloth
Phi-3.5-mini-instruct是微软AI团队开发的开源语言模型,具备多语言理解、长文本处理和代码生成能力,支持128K上下文长度。结合Unsloth优化技术,模型训练速度提升2倍,内存占用降低50%。适合在资源受限环境下部署的AI应用开发,并提供Google Colab环境供快速测试验证。
Phi-3.5-mini-instruct_Uncensored-GGUF - 优化的量化模型提供多种压缩方案支持不同运行环境
LLMGGUF开源项目Phi-3.5模型Github量化llama.cppHuggingface
该项目基于llama.cpp框架，将Phi-3.5-mini-instruct模型转换为GGUF格式，提供从F16到IQ2_M共19种量化版本。模型文件大小范围在1.32GB至7.64GB之间，适配CPU和GPU环境。Q6_K、Q5_K系列及IQ4_XS等版本在性能与体积上表现均衡，可根据硬件配置选择适合的版本使用。