SeaLLM-7B-v2

SeaLLM-7B-v2项目简介

项目概述

SeaLLM-7B-v2 是一款专为东南亚语言研发的多语言大规模语言模型（LLM），覆盖英语、中文、越南语、印尼语、泰语、马来西亚语、柬埔寨语、老挝语、缅甸语和菲律宾语等10种语言。它是继 SeaLLM-13B 后的重大升级版本，模型体积减半的同时，在多种多语言任务上显示出优异表现，包括常识推理、数学推理和指令跟随等任务。

项目亮点

• 在零样本链式推理 (Zero-shot CoT) 的GSM8K任务中，SeaLLM-7B-v2 取得了78.2分，超越了GPT-3.5在SEA语言翻译的GSM8K任务中的表现。
• 在常识推理基准测试中，SeaLLM-7B-v2在Arc-C、Winogrande和Hellaswag上分别获得82.5、68.3和80.9的高分，与GPT-3.5竞争力相当。
• 在MT-bench英文基准测试中，SeaLLM-7B-v2取得了7.54分，在7B类别中排名第三，是表现最佳的多语言模型。
• 在越南语的VMLU基准测试中，SeaLLM-7B-v2 得到45.74分，是唯一一个表现可与相似规模的单语言模型（例如 Vistral-7B）相媲美的开源多语言模型。

发布信息与演示

• 演示地址：SeaLLMs/SeaLLM-7B
• 技术报告：Arxiv: SeaLLMs - Southeast Asia's Large Language Models
• 模型下载：
  • SeaLLM-7B-v2
  • SeaLLM-7B-v2-gguf
  • SeaLLM-7B-v2-GGUF (thanks Lonestriker)

用法示例

使用 transformers 的 chat_template

from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda" # 模型加载设备

# 使用 bfloat16 确保最佳性能
model = AutoModelForCausalLM.from_pretrained("SeaLLMs/SeaLLM-7B-v2", torch_dtype=torch.bfloat16, device_map=device)
tokenizer = AutoTokenizer.from_pretrained("SeaLLMs/SeaLLM-7B-v2")

messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "Hello world"},
    {"role": "assistant", "content": "Hi there, how can I help you today?"},
    {"role": "user", "content": "Explain general relativity in details."}
]

encodeds = tokenizer.apply_chat_template(messages, return_tensors="pt", add_generation_prompt=True)
print(tokenizer.convert_ids_to_tokens(encodeds[0]))

SeaLLM-7B-v2通过这些设计和性能优势，成为研究人员和开发人员对于东南亚语言处理的一个强有力的工具，助力多语言环境下的广泛应用。