Github
Huggingface
论文EEVE-Korean-Instruct-10.8B-v1.0项目介绍
EEVE-Korean-Instruct-10.8B-v1.0是一个基于yanolja/EEVE-Korean-10.8B-v1.0模型进行微调的韩语大语言模型。这个项目旨在提供一个高性能的韩语指令跟随模型，能够理解和执行用户的各种指令。
模型背景
该模型是在yanolja/EEVE-Korean-10.8B-v1.0的基础上进行了进一步的优化。而yanolja/EEVE-Korean-10.8B-v1.0本身是upstage/SOLAR-10.7B-v1.0模型的韩语词汇扩展版本。项目团队使用了直接偏好优化（Direct Preference Optimization，简称DPO）技术，通过Axolotl工具进行了模型的微调。
技术特点
- 词汇扩展：针对韩语进行了专门的词汇扩展，提高了模型对韩语的理解和生成能力。
- 指令跟随：通过DPO技术的应用，增强了模型执行特定指令的能力。
- 大规模参数：模型包含10.8B参数，具有强大的语言理解和生成能力。
训练数据
模型的训练数据主要包括：
- Korean-translated版本的Open-Orca/SlimOrca-Dedup数据集
- Korean-translated版本的argilla/ultrafeedback-binarized-preferences-cleaned数据集
值得注意的是，项目团队没有使用其他额外的数据集，保证了训练数据的纯净性和专注性。
使用方法
EEVE-Korean-Instruct-10.8B-v1.0模型可以通过Hugging Face的transformers库轻松调用。用户需要使用特定的提示模板来获得最佳效果：
prompt_template = "A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions.\nHuman: {prompt}\nAssistant:\n"
模型评估
在Open LLM Leaderboard上，EEVE-Korean-Instruct-10.8B-v1.0模型展现了优秀的性能：
- 平均得分：66.48
- AI2推理挑战（25-Shot）：64.85
- HellaSwag（10-Shot）：83.04
- MMLU（5-Shot）：64.23
- TruthfulQA（0-shot）：54.09
- Winogrande（5-shot）：81.93
- GSM8k（5-shot）：50.72
这些评分表明，该模型在多个任务上都表现出色，特别是在常识推理和语言理解方面。
社区参与
项目团队鼓励用户加入他们的Discord社区，以便交流大语言模型相关的知识和见解。虽然社区主要使用韩语交流，但这为韩语NLP研究者提供了一个宝贵的交流平台。
总结
EEVE-Korean-Instruct-10.8B-v1.0项目为韩语自然语言处理领域带来了一个强大的工具。通过词汇扩展和指令优化，该模型在保持通用语言理解能力的同时，更好地适应了韩语环境。无论是学术研究还是实际应用，这个模型都为韩语NLP的发展提供了新的可能性。
