#Meta-Llama
Meta-Llama-3-70B-Instruct-GGUF - Llama 3 70B语言模型介绍与应用
Github开源项目量化模型模型自然语言生成Huggingface商业用途Meta-Llama责任与安全
了解由Meta研发的Llama 3 70B模型，其通过定量化处理优化推理性能，适用于多种对话场景，支持多种模式的使用，为用户提供安全高效的互动能力。
Meta-Llama-3.1-8B-Instruct-GGUF - Llama 3.1多语言指令模型的量化版本
人工智能Github开源项目llama.cpp模型量化HuggingfaceGGUFMeta-Llama
Meta-Llama-3.1-8B-Instruct-GGUF是Llama 3.1模型的量化版本,使用llama.cpp技术实现。该项目提供多种精度的模型文件,从32GB的全精度到4GB的低精度,适应不同硬件需求。模型支持英语、德语、法语等多语言指令任务,可用于对话和问答。用户可选择合适的量化版本,在保持性能的同时优化资源使用。
Meta-Llama-3.1-8B-Instruct-abliterated-GGUF - 基于Meta-Llama的无限制大语言模型优化版本
Github开源项目大语言模型模型训练LLM模型HuggingfaceMeta-LlamaAI开源
Meta-Llama-3.1-8B-Instruct优化版本采用abliteration技术对原模型进行调整，移除了默认的输出限制。项目基于transformers库开发，继承原版核心性能的同时提供更自由的输出空间。模型使用llama3.1许可证，适用于需要更灵活输出的AI开发场景。
Meta-Llama-3.1-8B-Instruct-quantized.w4a16 - 基于LLaMA 3.1的INT4量化指令模型
Github开源项目多语言支持量化模型模型vLLMHuggingface评估基准Meta-Llama
Meta-Llama-3.1-8B-Instruct模型的INT4量化版本，将模型参数从16bit压缩至4bit，有效降低75%的存储和显存占用。模型在Arena-Hard、OpenLLM、HumanEval等基准测试中表现稳定，量化后性能恢复率保持在93%-99%之间。通过vLLM后端部署，支持8种语言处理，适合商业及研究领域应用。
dolphin-2.9.4-llama3.1-8b-gguf - Llama3.1衍生的开放对话模型Dolphin 2.9.4
Github开源项目模型训练机器学习语言模型人工智能助手模型HuggingfaceMeta-Llama
Dolphin 2.9.4是基于Meta Llama3.1 8b模型优化的GGUF格式对话助手。它支持多语言指令理解和代码编程，具有8192序列长度和128K上下文窗口，采用ChatML提示模板。该模型支持函数调用，在BBH、GPQA等评测中表现良好。作为未经审查的模型，它能更自由地回应请求，但在实际应用中建议添加内容过滤机制。