#人机对话
OpenHermes-2.5-Mistral-7B-AWQ - 使用AWQ方法提升Transformer推理速度的低位量化技术
合成数据人机对话量化AI模型Github开源项目OpenHermes-2.5-Mistral-7B模型Huggingface
AWQ通过4-bit量化提供高效、快速的Transformer推理体验，与GPTQ相比具有更优性能。它在Text Generation Webui、vLLM、Hugging Face的Text Generation Inference和AutoAWQ等多个平台上支持，为AI应用带来了显著的性能提升，适用于多用户推理服务器的开发以及Python代码中的集成使用。
gemma-2-9b-it-function-calling-GGUF - 精确优化与功能调用的对话生成应用
人机对话Huggingface文本生成模型微调开源项目模型Githubgemma-2-9b-it函数调用
该项目对google/gemma-2-9b-it模型进行细致调优以处理函数调用任务，专注于提高对话生成的灵活性和功能集成。数据集采用DiTy/function-calling且为人类注释，为确保高质量结果输出，支持safetensors和GGUF格式，适用于各种应用场景。模型版本提供多种量化类型，从F16基础格式到Q6_K，适合高效精确实现函数调用的需求。