#Llama 3.1 Swallow

Llama-3.1-Swallow-8B-Instruct是一个基于Meta Llama 3.1持续预训练的日英双语大语言模型。模型使用2000亿个来自日语网络语料库、维基百科、数学和编程领域的token进行训练，并通过日语合成数据进行指令微调。在日语能力显著提升的同时保持了原有的英语水平，各项基准测试表现优异。该模型适合需要高质量日英双语理解和生成的应用场景。

Llama 3.1 Swallow系列在增强日语和英语能力方面表现出色。基于Llama 3.1的模型结构，它不仅改进了对日语的处理能力，还保留了对英语的支持。利用包括日本网络、维基百科在内的语料，以2000亿个令牌进行训练，该模型在多个领域表现优异，包括文本生成、日英翻译和学术考试。不同的模型变体支持多种语言处理需求，提供灵活选择。