项目概述
Llama-3.1-Swallow-8B-Instruct-v0.1是一个基于Meta Llama 3.1模型持续预训练的大型语言模型。该项目旨在增强原始Llama 3.1模型的日语处理能力,同时保持其英语能力。这是Llama 3.1 Swallow系列模型中的8B参数版本。
主要特点
- 双语能力:在保持强大英语能力的同时,显著提升了日语处理能力
- 大规模训练:使用约2000亿个token进行持续预训练,包括日本网络语料库、日英维基百科文章等
- 指令微调:通过监督式微调(SFT)提升模型对日语指令的理解和执行能力
- 开源可用:模型已在Hugging Face平台开放,可供研究和应用
性能表现
- 日语任务方面表现优异:在多项日语评测基准上取得领先成绩,包括问答、阅读理解、机器翻译等任务
- 英语能力保持:在英语任务评测中保持了较好水平,证明模型具备良好的双语处理能力
- MT-Bench JA评测:在日语多轮对话能力评测中展现出不错的表现
应用场景
- 双语对话:可以同时处理日语和英语的对话任务
- 文本生成:能够生成高质量的日语和英语文本内容
- 知识问答:支持双语的知识问答和信息提取
- 翻译任务:可用于日英互译等语言转换任务
使用方法
该模型可通过vllm库轻松调用,支持常见的对话模板,能够处理多轮对话。用户只需安装必要依赖,通过简单的Python代码即可使用该模型进行各类自然语言处理任务。
训练数据
模型使用了精心筛选的训练数据集,包括:
- 基于lmsys-chat-1m数据集合成的日语指令数据
- 经过过滤的magpie-ultra日语数据集
- 大规模日本网络语料库和维基百科文章
技术规格
- 模型类型:基于Llama 3.1架构
- 参数规模:8B参数
- 支持语言:日语和英语
- 开发框架:Megatron-LM
- 分词器:采用Llama 3.1原始分词器