ELYZA-japanese-CodeLlama-7b - 日本语代码模型的新前沿，改进生成与理解

ELYZA-japanese-CodeLlama-7b项目介绍

项目概述

ELYZA-japanese-CodeLlama-7b是一个基于Code Llama模型进行扩展和改进的项目，其目的是提升模型对日语的处理能力。这个模型通过额外的预训练步骤，增强了其在生成和理解日语文本的能力。有关更多细节，可以参考相关的博客文章。

使用方法

为了使用ELYZA-japanese-CodeLlama-7b模型，用户可以按照以下Python代码示例进行操作：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

B_INST, E_INST = "[INST]", "[/INST]"
B_SYS, E_SYS = "<<SYS>>\n", "\n<</SYS>>\n\n"
DEFAULT_SYSTEM_PROMPT = "あなたは誠実で優秀な日本人のアシスタントです。"
text = "エラトステネスの篩についてサンプルコードを示し、解説してください。"

model_name = "elyza/ELYZA-japanese-CodeLlama-7b-instruct"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype="auto")

if torch.cuda.is_available():
    model = model.to("cuda")

prompt = "{bos_token}{b_inst} {system}{prompt} {e_inst} ".format(
    bos_token=tokenizer.bos_token,
    b_inst=B_INST,
    system=f"{B_SYS}{DEFAULT_SYSTEM_PROMPT}{E_SYS}",
    prompt=text,
    e_inst=E_INST,
)

with torch.no_grad():
    token_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
    output_ids = model.generate(
        token_ids.to(model.device),
        max_new_tokens=768,
        pad_token_id=tokenizer.pad_token_id,
        eos_token_id=tokenizer.eos_token_id,
    )
output = tokenizer.decode(output_ids.tolist()[0][token_ids.size(1):], skip_special_tokens=True)
print(output)

该代码示例说明了如何调用ELYZA-japanese-CodeLlama-7b模型来生成关于“埃拉托色尼筛法”这一数学算法的代码示例及解释。

模型信息

ELYZA-japanese-CodeLlama-7b提供了两个不同的模型版本，具体信息如下：

模型名称	词汇表大小	参数数量
elyza/ELYZA-japanese-CodeLlama-7b	32016	6.27亿
elyza/ELYZA-japanese-CodeLlama-7b-instruct	32016	6.27亿

开发者团队

该项目由以下开发者团队按字母顺序整理：

授权协议

如何引用

在学术或研究作品中引用该项目时，可以使用以下BibTeX格式：

@misc{elyzacodellama2023, 
      title={ELYZA-japanese-CodeLlama-7b}, 
      url={https://huggingface.co/elyza/ELYZA-japanese-CodeLlama-7b}, 
      author={Akira Sasaki and Masato Hirakawa and Shintaro Horie and Tomoaki Nakamura},
      year={2023},
}

参考文献

以下是与项目相关的其他参考文献：

@misc{rozière2023code,
      title={Code Llama: Open Foundation Models for Code}, 
      author={Baptiste Rozière and Jonas Gehring and others},
      year={2023},
      eprint={2308.12950},
}

@misc{touvron2023llama,
      title={Llama 2: Open Foundation and Fine-Tuned Chat Models}, 
      author={Hugo Touvron and others},
      year={2023},
      eprint={2307.09288},
}

希望以上信息可以帮助大家更好地了解ELYZA-japanese-CodeLlama-7b项目的功能和应用场景。