项目介绍:Gemma-2-9b-it-GGUF
Gemma-2-9b-it-GGUF项目由Google开发,是Gemma系列中的一个全新模型,基于Gemini技术。这个模型特别适合处理各种各样的问题,尤其是在有限的显存或内存情况下依然表现出色,因为它仅包含9B(90亿)个参数。
项目背景
Gemma-2-9b模型在多个领域上进行了广泛的训练,包括网络文档、代码和数学。这使得模型在语言、多国语言以及编码能力上有很好的表现。为了确保多样性,模型的训练数据包括8万亿个标记(token),比之前的Gemma 1.1多出30%。
主要特点
- 多样化的训练数据:通过多元的网络文本集合,使模型接触到各种语言风格、主题和词汇,主要以英语内容为主。
- 代码能力:通过学习编程语言的语法和模式,模型能够生成代码或理解与代码相关的问题。
- 数学能力:通过数学文本的训练,模型具备了逻辑推理能力、符号表示能力,并能够处理数学问题。
模型设置
要使用Gemma-2-9b-it-GGUF模型,需要下载LM Studio版本0.2.27。用户在LM Studio中选择“Google Gemma Instruct”预设,即可开始使用。在该环境下,模型将接收到预设格式的提示。
技术细节
Gemma 2拥有与1.1版本相同的大规模词汇库,有助于提升它在多国语言环境以及编程方面的能力。此外,I-matrix的计算使用的相关数据集由Kalomaze和Dampf团队进行了重要贡献。
特别鸣谢
项目背后的成功离不开Georgi Gerganov及其团队在llama.cpp项目中的努力,另外Kalomaze和Dampf对于数据集的贡献也功不可没。更多详情可以在他们的博客中找到:博客链接。
免责声明
LM Studio并非社区模型项目中任何模型的创建者或拥有人。各个社区模型均由第三方创建和提供。LM Studio不对这些模型的完整性、真实性、准确性或可靠性提供任何保证或承担责任。用户应自行负责使用这些模型过程中可能产生的任何后果。