#Marlin格式

项目提供的zephyr-7b-beta模型在GPTQ量化后以Marlin格式保存，专为nm-vllm引擎高效推理优化。该模型支持在本地Python环境中部署，代码示例以及详细指导文档可供参考，确保对量化模型优势的完整展现。