Huggingface项目介绍：Gemma-2b-it-GGUF
项目背景及创建者
Gemma-2b-it-GGUF项目是由Google开发的，基于其基础模型google/gemma-2b-it。本项目的量化版本由Second State Inc.进行处理，使用的是transformers库。项目的使用需要遵循Gemma的使用条款。
模型运行
Gemma-2b-it模型可以通过LlamaEdge进行运行。LlamaEdge当前支持的版本是v0.3.2。其运行需要特定的Prompt模板，模板的类型为gemma-instruct，格式如下：
<start_of_turn>user
{user_message}<end_of_turn>
<start_of_turn>model
{model_message}<end_of_turn>model
默认的上下文大小为2048。当把模型作为LlamaEdge服务运行时，可以使用如下命令：
wasmedge --dir .:. --nn-preload default:GGML:AUTO:gemma-2b-it-Q5_K_M.gguf llama-api-server.wasm -p gemma-instruct -c 4096
同样，也可以作为LlamaEdge命令行应用运行：
wasmedge --dir .:. --nn-preload default:GGML:AUTO:gemma-2b-it-Q5_K_M.gguf llama-chat.wasm -p gemma-instruct -c 4096
量化的GGUF模型
在Gemma-2b-it-GGUF项目中，提供了多个量化版本的模型供选择。这些模型在质量和大小方面进行了不同的取舍，以满足各种应用需求。以下是几种主要的量化版本：
- gemma-2b-it-Q2_K.gguf：使用2位量化，大小为900MB，质量损失显著，不推荐常规使用。
- gemma-2b-it-Q3_K_M.gguf：使用3位量化，大小为1.18GB，质量损失高，适用于非常小型的应用场合。
- gemma-2b-it-Q4_K_M.gguf：使用4位量化，大小为1.5GB，提供中等质量和较高的均衡性，推荐使用。
- gemma-2b-it-Q5_K_M.gguf：使用5位量化，大小为1.77GB，质量损失非常低，是一个非常推荐的选择。
- gemma-2b-it-Q6_K.gguf：是使用6位量化的版本，大小达到2.06GB，质量损失极低。
- gemma-2b-it-Q8_0.gguf：使用8位量化，大小为2.67GB，质量损失极低，然而不建议使用。
这些量化模型均通过llama.cpp b2230进行处理，适合不同的应用场景，根据需要选择合适的模型版本以优化性能与资源占用。
