相关项目
dl_note
dl_note项目是一个综合性深度学习资源库，涵盖从数学基础到模型部署的全过程。内容包括神经网络基础、深度学习技巧、模型压缩、推理优化及大语言模型等。项目注重实际应用，提供详细代码解析和实战经验，适合深度学习技术的学习者和从业者参考使用。
Meta-Llama-3.1-405B-Instruct-GPTQ-INT4
Meta-Llama-3.1-405B-Instruct量化模型通过AutoGPTQ技术将FP16压缩至INT4格式，实现了更高效的多语言对话能力。模型集成了transformers、AutoGPTQ、TGI和vLLM等多种推理框架，方便灵活部署。经过基准测试验证，该社区驱动的量化版本在降低内存占用的同时保持了原有性能水平。