访问官网
Github
Huggingface本文介绍
awesome-huge-models 是一个汇集关于大型人工智能模型的优秀资源项目。在如今人工智能领域快速发展的时代，大型语言模型（LLMs）如雨后春笋般从 GitHub 代码库中涌现，而不再仅限于传统的论文发表。该项目致力于以开放的方式发布所有相关内容，包括训练和推理代码、经过指令调优的权重和数据集、以及预训练权重和用于预训练的 LLM 数据集。在这个开放源代码的浪潮中，awesome-huge-models 项目紧跟最新进展，并记录这些发展的历程。
发展背景
- 2023年6月：我们生活在 GPT-4 之后的时代，华丽的 LLMs 增加了开放代码库中模型的发布频率，力求开放一切。
- 2023年3月：该项目关注于预训练模型，并按首次发布日期进行排序，以支持 LLM 的开放进程。
- 2022年6月：大公司带头推动大规模深度学习模型的训练，这些模型在性能上的表现虽被认为是现下的最优，但也因其成本高昂而众所周知。
内容概览
awesome-huge-models 项目涵盖了语言、视觉、强化学习、语音和科学等多个领域的模型。此外，该项目还包括开放 LLM 训练数据集、分布式训练框架以及模型关键术语解释等。
调查和研究
项目包含多个领域的研究和调查，如对大规模语言模型以及视觉-语言预训练模型的调查。此外，还探讨了三种机器学习时代的计算趋势，以及支撑大型模型的路线图。
模型分类
语言模型
项目列出了许多著名的大型语言模型，并就其参数规模、训练数据、许可情况和上下文长度等方面提供了详细信息。例如：
- Baichuan：拥有 70 亿个参数，以 1.2 万亿的中英文语料为基础进行训练。
- Falcon：参数量为 400 亿，训练数据约为 1 万亿个 精炼网页 tokens。
视觉模型
该项目不仅涵盖语言模型，也包含了一系列前沿的视觉模型，旨在解决图像生成、视觉-语言理解和视觉表征等问题，比如：
- EVA-02：拥有 50 亿个参数，通过 20 亿图文对模型进行训练，使用 Transformer 架构。
强化学习、语音及科学领域模型
项目还列举了一些在强化学习、语音识别、科学计算领域应用的其他大型模型，展示了在这些领域中深度学习模型的广泛应用。
开放 LLM 训练数据集
在人工智能领域中，数据集开放是促进模型进步的重要因素。该项目列出了开放的 LLM 训练数据集，帮助模型开发者在多种环境下验证模型的性能。
分布式训练框架
随着模型规模的不断增大，传统的训练框架已无力承担如此庞大的运算需求。在此项目中，详细介绍了 PyTorch、XLA 及其他相关的分布式训练和推理框架的最新进展。
结束语
awesome-huge-models 项目为人工智能研究者和应用者提供了一个丰富的平台，涵盖了大型模型从诞生到发展的各种优秀资源。通过持续跟踪当下的研究成果和技术更新，本项目力求使每一位读者对未来 AI 世界的无限可能有更为清晰的认识。
