#量子化
gemma-2-2b-jpn-it-gguf - 基于Gemma的日语大模型跨平台量化部署版
日语语言模型llama.cppGemma模型部署GithubHuggingface量子化开源项目模型
基于Google Gemma-2-2b-jpn-it模型的量子化优化项目，通过llama.cpp、LM Studio和LLMFarm实现在Windows、Mac及iOS平台的轻量级部署。该项目遵循Gemma开源协议，提供高效的日语大模型部署解决方案。
llm-jp-3-3.7b-instruct-gguf - 量化日语语言模型，适应多平台使用
使用方法制作步骤Github模型量子化开源项目指示Huggingfacellm-jp-3-3.7b-instruct
llm-jp-3-3.7b-instruct-gguf提供了量化的日语语言模型，兼容多种平台和工具如llama.cpp、LM Studio和LLMFarm。通过gguf格式转换，提升模型使用效率。更多信息请参考npaka的转换指南。
EZO-gemma-2-2b-jpn-it-GGUF - GGUF格式优化的日语Gemma模型
开源项目iMatrix日语模型Github模型量子化HuggingfaceGemmaGGUF
EZO-gemma-2-2b-jpn-it-GGUF项目将AXCXEPT的日语Gemma模型转换为GGUF格式，提高了模型效率。项目采用K量子化技术，并利用TFMC提供的iMatrix数据集增强日语处理能力。这些优化使得模型在保持高性能的同时更加轻量化，适合需要高效日语语言模型的应用场景。
Qwen2.5-14B-Instruct-AWQ - Qwen2.5大模型，专注于提升编码、数学能力与多语种支持
长上下文支持多语言支持开源项目代码生成Qwen2.5-14B-Instruct量子化Github模型Huggingface
Qwen2.5是一款大语言模型，专注提升编码和数学能力，同时优化指令跟随、长文本生成和结构化数据理解。支持29种语言，如中文和英语。具备更强的系统提示适应性，适合角色扮演和条件设置。AWQ量化4-bit版本72B模型具备因果语言模型结构，支持131,072个token的上下文处理和8,192个token的文本生成，适合长文本处理及多语言应用。
Phi-3.5-mini-instruct-GGUF - 多语言轻量级模型，优化高效推理和准确性
模型训练自然语言处理开源项目模型Github量子化HuggingfacePhi 3.5 Mini数据优化
Phi-3.5-mini是microsoft推出的多语言开放型模型，专注于高质量推理数据，支持128K上下文标记长度。经过监督微调、近端策略优化和直接偏好优化，该模型确保严格的指令遵循和安全性。采用多种量化方法（从Q2到Q8及f16），满足多样硬件需求，适用于广泛的自然语言处理和代码任务，由SanctumAI进行量化。
gemma-2-baku-2b-it-gguf - 跨语言量化模型，支持多平台兼容应用
使用方法Github模型量子化开源项目LM StudioHuggingface模型卡gemma-2-baku-2b-it
量子化后的gemma-2-baku-2b-it模型为日语和英语提供跨语言支持，增强处理效率。通过多种工具如llama.cpp、LM Studio（Windows和Mac支持）和LLMFarm（适用于iOS）进行应用。项目采用TFMC的数据集，专注于优化日语语言学习模型。访问有关npaka将LLM-jp-3转换为gguf的详细步骤，以提高应用效率和开发潜力。