japanese-stablelm-base-beta-7b - 日本语自然语言处理的7B参数高效模型

Japanese-StableLM-Base-Beta-7B 项目介绍

模型简介

Japanese-StableLM-Base-Beta-7B 是一个基于 Llama-2-7b 的大型语言模型，采用了 70 亿参数，并针对多种日语数据进行了调优，以期在日语处理任务中达到最佳效果。针对任务指导型模型，可以参考 Japanese-StableLM-Instruct-Beta-7B。同时也有更大尺寸的 70b 模型可供选择，对于性能要求更高的应用，可以探讨使用 Japanese-StableLM-Base-JA_Vocab-Beta-7B 模型。

使用方法

要使用该模型，首先需要安装所需的依赖：

pip install -r requirements.txt

接着，可以通过以下代码片段进行文本生成：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "stabilityai/japanese-stablelm-base-beta-7b"
tokenizer = AutoTokenizer.from_pretrained(model_name)

model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16, low_cpu_mem_usage=True, device_map="auto")

prompt = "AI で科学研究を加速するには、".strip()

input_ids = tokenizer.encode(prompt, add_special_tokens=True, return_tensors="pt")

seed = 23  
torch.manual_seed(seed)

tokens = model.generate(input_ids.to(device=model.device), max_new_tokens=128, temperature=0.99, top_p=0.95, do_sample=True)

out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)

可以通过调整不同生成配置（例如 top_p、repetition_penalty）来为不同任务找到最佳设置。