Bielik-7B-Instruct-v0.1 - 波兰语语言模型的优化与训练方法

Bielik-7B-Instruct-v0.1项目介绍

Bielik-7B-Instruct-v0.1是由开源项目SpeakLeash和高性能计算中心ACK Cyfronet AGH合作开发的一款经过指令微调的Polish大语言模型。这一项目主要利用了PLGrid环境下的大规模计算基础设施，并获得计算性拨款（编号PLG/2024/016951）的支持，在Athena和Helios超级计算机上进行训练。这款模型展现了出色的波兰语言理解和处理能力，能够准确执行多种语言学任务。

模型概述

开发团队：SpeakLeash
使用语言：波兰语
模型类型：仅限因果解码
微调基于：Bielik-7B-v0.1
许可证：CC BY NC 4.0（仅限非商业用途）
参考模型：speakleash:e38140bea0d48f1218540800bbc67e89

模型训练

Bielik-7B-Instruct-v0.1的训练依托于Krzysztof Ociepa开发的ALLaMo开源框架，可快速高效地训练类似LLaMA和Mistral结构的语言模型。训练中使用了一部分由注释人员精心校正过的波兰语指令和一些公开提供的英文指令数据集，比如OpenHermes-2.5和orca-math-word-problems-200k。

训练技术

为了优化模型性能，开发团队引入了以下技术：

加权词元级损失：受离线强化学习和C-RLFT的启发
自适应学习率：参考批量大小学习率研究
用户指令屏蔽

训练超参数

上下文长度: 4096
微批量大小: 1
批量大小: 高达4194304
学习率（余弦，自适应）: 7e-6 -> 6e-7
预热迭代: 50
总迭代次数: 55440
优化器: AdamW
β1, β2: 0.9, 0.95
Adam_eps: 1e−8
权重衰减: 0.05
梯度裁减: 1.0
精度: bfloat16（混合）

预量化和MLX版本

为了适应资源有限的用户，开发团队提供了量化版本的Bielik-7B-Instruct-v0.1模型，适用于非GPU与性能较弱的GPU。此外，也为Apple Silicon设备提供了相应的MLX版本。

模型评价

Bielik-7B-Instruct-v0.1在Open PL LLM Leaderboard上的多种NLP任务中进行了5-shot展示，其评估内容涉及情感分析、分类、文本分类等任务。尽管未直接评估聊天技能，但模型在计算机开放问题回答任务（RAG Reader）中表现突出，相较于Mistral-7B-v0.1，其平均得分提高了接近9个百分点。

局限性与偏见

Bielik-7B-Instruct-v0.1旨在展示基础模型可以如何轻松微调以获得优良性能，但该模型可能生成不准确或偏见的信息，不宜在需要内容审核的环境中直接应用。

许可证与引用

由于法律状况不明晰，模型以CC BY NC 4.0许可证发布，允许非商业用途。用户可用于科学和私人目的，但需满足许可证条件。

对于学术引用用户可按以下格式引用此模型：

@misc{Bielik7Bv01,
    title     = {Introducing Bielik-7B-Instruct-v0.1: Instruct Polish Language Model},
    author    = {Ociepa, Krzysztof et al.},
    year      = {2024},
    url       = {https://huggingface.co/speakleash/Bielik-7B-Instruct-v0.1},
    note      = {Accessed: 2024-04-01}, 
}