#Phi-3-medium-128k-instruct
Phi-3-medium-128k-instruct-quantized.w8a16 - 优化为INT8的14亿参数开源模型，提升计算效率
vLLMGithubPhi-3-medium-128k-instruct文本生成开源项目量化模型优化Huggingface模型
Phi-3模型的量化版本，通过将权重量化为INT8，将参数位数从16减少至8，约减少50%的磁盘和GPU使用，仍保有高性能。专为英语商业与研究用设计，不适用于违法行为。支持在vLLM和Transformers中高效部署，平均分数74.04逼近未量化版本。在OpenLLM基准中展现优异准确性与恢复能力。
Phi-3-medium-128k-instruct-GGUF - Phi-3-medium-128k-instruct模型的多硬件平台适配与量化选项
llama.cpp自然语言处理量化开源项目模型GithubHuggingfacePhi-3-medium-128k-instruct模型下载
Phi-3-medium-128k-instruct项目以llama.cpp最新版本为基础，提供多种量化模型以适应不同内存与性能需求，支持包括Nvidia的cuBLAS、AMD的rocBLAS、CPU及Apple Metal在内的多种硬件平台。推荐使用Q6_K_L和Q5_K_M版本以实现高精度场景需求。用户可利用huggingface-cli选择性下载所需模型，以达到速度与质量的最佳平衡。