EXAONE 3.0
🤗 HuggingFace | 📝 博客 | 📑 技术报告
简介
我们推出了EXAONE-3.0-7.8B-Instruct,这是一个预训练并经过指令微调的双语(英语和韩语)生成模型,拥有78亿参数。 该模型经过8万亿精选标记的预训练,并通过监督微调和直接偏好优化进行后训练。 在与其他同等规模的最先进开放模型相比,它展现出极具竞争力的基准性能。
新闻
- 2024.08.08: :wave: :wave: 我们修订了我们的许可证以振兴研究生态系统。:wave: :wave:
- 2024.08.07: 我们发布了EXAONE 3.0 7.8B指令微调模型。查看📑技术报告!
性能
以下展示了一些实验结果。完整的评估结果可以在技术报告中找到。
语言 | 基准测试 | EXAONE 3.0 7.8B Inst. | Llama 3.1 8B Inst. | Gemma 2 9B Inst. | QWEN 2 7B Inst. | Phi 3 7B Inst. | Mistral 7B Inst. |
---|---|---|---|---|---|---|---|
英语 | MT-Bench | 9.01 | 7.95 | 8.52 | 8.41 | 8.52 | 7.72 |
Arena-Hard-v0.1 | 46.8 | 28.0 | 42.1 | 21.7 | 29.1 | 16.2 | |
WildBench | 48.2 | 34.5 | 41.5 | 34.9 | 32.8 | 29.0 | |
AlpacaEval 2.0 LC | 45.0 | 31.5 | 47.5 | 24.5 | 37.1 | 31.0 | |
韩语 | KoMT-Bench1 | 8.92 | 6.06 | 7.92 | 7.69 | 4.87 | 5.20 |
LogicKor | 8.62 | 5.40 | 8.07 | 6.12 | 3.76 | 3.42 |
要求
- 对于EXAONE 3.0模型,需要
transformers>=4.41.0
。推荐使用最新版本。
快速开始
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained(
"LGAI-EXAONE/EXAONE-3.0-7.8B-Instruct",
torch_dtype=torch.bfloat16,
trust_remote_code=True,
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("LGAI-EXAONE/EXAONE-3.0-7.8B-Instruct")
# 选择你的提示
prompt = "Explain who you are" # 英文示例
prompt = "너의 소원을 말해봐" # 韩文示例
messages = [
{"role": "system", "content": "你是来自LG AI研究院的EXAONE模型,一个乐于助人的助手。"},
{"role": "user", "content": prompt}
]
input_ids = tokenizer.apply_chat_template(
messages,
tokenize=True,
add_generation_prompt=True,
return_tensors="pt"
)
output = model.generate(
input_ids.to("cuda"),
eos_token_id=tokenizer.eos_token_id,
max_new_tokens=128
)
print(tokenizer.decode(output[0]))
[!注意] EXAONE 3.0指令调优语言模型经过训练以利用系统提示, 因此我们强烈建议使用上述代码片段中提供的系统提示。
局限性
EXAONE语言模型存在某些局限性,有时可能会生成不恰当的回应。该语言模型基于标记的输出概率生成回应,这是在从训练数据学习过程中确定的。尽管我们已尽力从训练数据中排除个人、有害和偏见信息,但某些有问题的内容可能仍然包含在内,可能导致不良回应。请注意,EXAONE语言模型生成的文本并不反映LG AI研究院的观点。
- 可能会生成不恰当的回答,其中包含个人、有害或其他不适当的信息。
- 可能会生成带有偏见的回应,这些偏见与年龄、性别、种族等相关。
- 生成的回应严重依赖训练数据的统计信息,可能导致生成语义或语法不正确的句子。
- 由于模型不反映最新信息,回应可能是错误的或自相矛盾的。
LG AI研究院致力于减少EXAONE语言模型可能带来的潜在风险。在使用EXAONE语言模型时,用户不得参与任何可能诱导创建违反LG AI道德原则的不当输出的恶意活动(例如,输入非法信息)。
许可证
该模型根据EXAONE AI模型许可协议1.1 - NC授权。
引用
@article{exaone-3.0-7.8B-instruct,
title={EXAONE 3.0 7.8B指令调优语言模型},
author={LG AI研究院},
journal={arXiv预印本 arXiv:2408.03541},
year={2024}
}
联系方式
LG AI研究院技术支持:contact_us@lgresearch.ai