Swallow-7b-instruct-v0.1 项目介绍
项目概述
Swallow-7b-instruct-v0.1 是由东京工业大学的开发团队推出的一款大型语言模型。该模型主要基于 Llama 2 家族进行持续的预训练,并特别加入了大量的日语数据,旨在提升其处理日语文本的能力。Swallow 的调优版本使用了监督微调(SFT)技术,以增强模型的指令响应能力。
模型发布更新
Swallow 项目团队在不断更新和发布新的模型版本,以适应不断增长的语言处理需求。以下是最近的更新:
- 2024年4月26日:发布 Swallow-7b-instruct-v0.1、Swallow-13b-instruct-v0.1 和 Swallow-70b-instruct-v0.1 作为预览版本。
- 2024年3月2日:发布 Swallow-7b-plus-hf,使用大约两倍于 Swallow-7b-hf 的日语文本进行训练。
- 此外,从2023年底开始,陆续发布了多个其他版本,包括 Swallow-13b-NVE-hf 和 Swallow-70b-NVE-hf 等。
模型特点
Swallow 模型系列具有以下特点:
- 模型类型:基于 Llama 2 架构,具体细节可以参考 Llama 2 的技术报告。
- 支持语言:支持日语和英语。
- 分词器:使用了基于日语数据扩展词汇表的分词器,能够更高效地表示文本,从而加快推理过程。
使用场景
Swallow 模型特别适合用于需要准确理解和生成日语文本的应用场景。在指令跟随能力的评估中,Swallow 的表现相较于之前的版本有显著提升。例如,Swallow-7b-instruct-v0.1 版本在多个任务中的平均得分较其早期版本有明显提高。
风险与局限
目前发布的模型仍处于研发的早期阶段,尚未进行严密的调优以确保输出与人类意图的完全对齐。在使用这些模型时,用户需注意潜在的输出偏差。
联系方式
对于这些模型的详细信息或有任何疑问,可以通过以下方式联系项目团队:swallow[at]nlp.c.titech.ac.jp。
贡献者和合作
Swallow 项目的开发得到了多方面的支持,特别是得益于 Meta Research 机构通过开放许可发布的 Llama 2。项目还获得了日本国立先进工业科学技术研究所提供的 ABCI 大规模语言模型构建支持计划的资助。
使用与引用
如果 Swallow 项目对您的研究或应用有所帮助,请随时引用团队的相关文献以示感谢。项目用例和开发细节可通过 TokyoTech-LLM 官方网站了解到。