访问官网
Github
HuggingfaceBigScience项目介绍
BigScience项目是一项专注于大规模语言模型研究的研讨活动，称之为“语言模型之夏21”。这个项目由来自全球的研究人员和工程师合作开展，旨在探索和发展当前最先进的语言技术。
代码仓库
当前，BigScience项目有两个主要的代码仓库：
- Megatron-DeepSpeed仓库：这个仓库是项目的旗舰代码库，侧重于处理与大型语言模型训练相关的所有技术细节。
- bigscience仓库：这个仓库涵盖了文档、实验等其他内容。在这个仓库中，有几个重要的活跃部分：
- JZ：提供大量关于工作环境的信息，帮助进行评估、规划和执行任务。
- 实验（Experiments）：记录大量正在进行的实验，包含文档、结果表、脚本日志等。
- 数据集信息（Datasets info）
- 训练（Train）：包含有关当前训练的所有信息。
训练任务
BigScience项目中有众多训练任务，其中一些最重要的训练任务总结在名为“学到的经验”的文档中。以下是部分主要训练的概述。
训练1 - 13B
使用未修改的Megatron GPT-2进行基线研究。
- 提供完整的规格和讨论文档、训练脚本、检查点和日志。
- 可以通过专门的脚本查看实时训练日志。
训练3
着眼于架构和规模的基线运行，不使用任何高级技巧，仅使用基本的GPT-2进行测试。
- 运行多个模型规模，包括1.3B、760M、350M和125M参数，分别在C4和OSCAR数据集上进行低暖启动和高暖启动的测试。
训练8
该训练任务使用104B参数的未修改Megatron GPT-2，通过增加隐藏层规模来探讨解决训练不稳定性的方法。
- 提供完整的规格和讨论文档、训练脚本、检查点和日志。
- 通过专用脚本能查看实时训练日志。
训练11
这是当前项目的主要训练任务，涉及176B参数的ML语言模型。
- 提供完整的规格和讨论文档、训练脚本、检查点和日志。
- 这个训练任务的日志也可以通过脚本实时查看，这有助于跟踪和分析训练过程中的各种问题。
使用手册
项目针对不同方面提供了具体的README文档，比如工具集成等，使得参与者能够快速上手并进行相关操作。
小结
BigScience项目以开放的协作形式进行，涉及了语言模型训练的多个前沿领域。通过这个项目，参与者可以互相分享和学习经验，共同推动人工智能和自然语言处理技术的发展。
