访问官网
Github
Huggingface
论文以下是根据提供的SOURCE_TEXT内容,对bloom-1b7项目做的详细介绍文章:
bloom-1b7项目介绍
项目概述
bloom-1b7是由BigScience团队开发的大型开源多语言语言模型。该项目旨在为公众研究大型语言模型(LLMs)提供可能。bloom-1b7是一个基于Transformer的语言模型,包含17亿参数,支持45种自然语言和12种编程语言。
模型特点
bloom-1b7具有以下主要特点:
- 采用修改版的Megatron-LM GPT2架构
- 使用仅解码器架构
- 应用层归一化到词嵌入层
- 使用ALiBI位置编码
- 包含24层、16个注意力头
- 隐藏层维度为2048
- 序列长度为2048个token
- 使用交叉熵损失函数
训练数据
bloom-1b7的训练数据包括:
- 45种自然语言
- 12种编程语言
- 1.5TB预处理文本,转换为3500亿个独特token
训练数据涵盖了多种语言,包括英语、中文、法语、阿拉伯语等主流语言,以及一些低资源语言如约鲁巴语、斯瓦希里语等。
用途与限制
bloom-1b7的预期用途包括:
- 直接用于文本生成
- 探索语言模型生成文本的特征
- 用作下游任务的预训练模型,如信息抽取、问答、摘要等
但该模型不应用于高风险场景,如生物医学、政治法律、金融等领域的关键决策。同时也不应将其用于生成事实性内容或可靠摘要。
评估结果
在训练过程中,bloom-1b7的一些初步评估指标如下:
- 训练损失:2.0
- 验证损失:2.2
- 困惑度:8.9
更多详细的评估结果将在模型训练完成后公布。
环境影响
bloom-1b7在法国的Jean Zay超级计算机上训练,主要使用核能。具体的碳排放和电力使用估算将在训练完成后提供。
开源许可
bloom-1b7采用RAIL License v1.0开源许可证。该许可对模型的使用有一些限制,如禁止用于有害、违反人权或其他恶意活动等。
总的来说,bloom-1b7是一个强大的多语言语言模型,为自然语言处理研究和应用提供了宝贵的开源资源。但在使用时也需注意其局限性,并遵守相关的伦理和法律规范。
