Huggingface
文档项目概述
Volare是一个基于谷歌Gemma-7B大型语言模型的改进版本，通过SFT(监督微调)和LoRA(低秩适应)技术进行了专门优化。该项目由Moxoff团队开发，旨在提供更好的上下文理解和生成能力。
技术特点
- 基于公开数据集SQUAD-it以及团队内部数据集进行训练
- 针对性优化了上下文理解能力
- 特别适合用于RAG(检索增强生成)任务
- 支持CPU和GPU环境运行
- 提供了4bit和8bit的量化版本，方便在不同硬件条件下部署
性能评估
模型在意大利语言模型排行榜(Open Ita LLM Leaderboard)的测试集上进行了评估：
- hellaswag_it准确率：64.74%
- arc_it准确率：46.71%
- m_mmlu_it(5-shot)准确率：55.21%
- 平均准确率：55.5%
- F1分数：69.82%
使用方法
该模型使用简单，只需安装transformers、torch和sentencepiece等基础依赖包即可。用户可以通过Python代码轻松调用模型进行文本生成，支持设置多种生成参数如温度系数、最大生成长度等来控制输出质量。
局限性说明
该模型尚未经过RLHF(基于人类反馈的强化学习)阶段的安全性对齐，也没有像ChatGPT那样配备实时响应过滤机制。因此在特定情况下可能产生有问题的输出。此外，基础模型的训练语料库规模和构成也未完全公开，但推测包含了网络数据和技术文献等多种来源。
扩展资源
模型提供了完整的开源资源，包括训练数据集、基础模型和评测平台的链接。同时还发布了量化版本，可在MoxoffSpA/VolareQuantized仓库获取，方便在资源受限的环境中使用。
