Swallow-MX-8x7b-NVE-v0.1 - 跨语言文本生成模型，强化日语能力

Swallow-MX-8x7b-NVE-v0.1项目介绍

项目概述

Swallow-MX-8x7b-NVE-v0.1是一个先进的语言模型，基于Mixtral-8x7B-Instruct-v0.1进行持续预训练，主要增加了日语数据。这一模型由东京工业大学的团队开发，结合多种语言数据集，旨在提升日语及英语文本生成和理解能力。

模型详情

模型类型：详细建筑信息可参考Mixtral技术报告。
支持语言：日语、英语。
分词器：使用与Mixtral-8x7B-Instruct-v0.1相同的分词器。
联系方式：swallow[at]nlp.c.titech.ac.jp

基础模型性能

日语表现

模型在多个日语任务中的表现优于许多7B和13B的对比模型，尤其是在常识问答和对话生成上有显著提升。例如，Swallow-MX-8x7b-NVE-v0.1在JCommonsenseQA任务中的表现达到0.9258，展示了其卓越的日语理解能力。

英语表现

在英语任务中，该模型的表现同样令人印象深刻。虽然其对OpenBookQA的响应略低于某些顶级模型，但在TriviaQA、HellaSwag等任务上均有不俗的表现，验证了其跨语言处理的有效性。

使用方法

为了使用此模型，用户需先安装必要的依赖，然后通过Python脚本调用模型进行文本生成。以下是一个简单的使用示例：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "tokyotech-llm/Swallow-MX-8x7b-NVE-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_name)

model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
prompt = "東京工業大学の主なキャンパスは、"
input_ids = tokenizer.encode(
    prompt,
    add_special_tokens=False,
    return_tensors="pt"
)
tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    temperature=0.99,
    top_p=0.95,
    do_sample=True,
)

out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)