AcmeTrace: 探索大型语言模型开发的数据中心特征

AcmeTrace

AcmeTrace项目介绍

AcmeTrace是一个由上海人工智能实验室发布的开源项目，旨在为研究人员和开发者提供宝贵的大型语言模型(LLM)开发数据。该项目包含了从2023年3月到8月期间Acme集群的详细工作负载追踪数据，为我们深入了解LLM在现代数据中心中的开发过程提供了独特的视角。

数据集概况

AcmeTrace数据集具有以下主要特征:

完整数据集大小:80GB(存储在HuggingFace上)
本地数据集大小:109MB
跟踪时间:6个月
独立GPU集群数量:2个
总作业数:880,740个
GPU作业总数:470,497个

这些数据涵盖了大型AI项目开发的方方面面,从单个作业的执行情况到整个集群的资源利用率,为我们提供了全面的视角。

AcmeTrace数据集结构

数据集结构与内容

AcmeTrace数据集的结构设计非常清晰,主要包含以下几个部分:

1. 作业追踪数据

作业追踪数据存储在data/job_trace目录下,包含两个主要文件:

trace_kalos.csv: Kalos集群的作业追踪数据
trace_seren.csv: Seren集群的作业追踪数据

这些文件记录了每个提交到调度器的作业的详细信息,包括作业ID、用户、所需资源(GPU、CPU等)、作业类型、状态、提交时间、开始时间、结束时间等。这些数据让我们能够深入分析作业的执行特征、资源需求和调度效率。

2. 资源利用率数据

资源利用率数据存储在data/utilization目录下,进一步分为以下子目录:

ipmi: 包含Seren集群中不同服务器型号的功耗数据,通过IPMI收集
kalos和seren: 分别包含Kalos和Seren集群的资源利用率日志,通过DCGM和Prometheus收集
util_pkl: 包含处理后的pickle文件,用于绘图

这些数据让我们能够全面了解集群的资源使用情况,包括CPU利用率、GPU利用率、内存使用、功耗等,为优化资源分配和提高能效提供了重要依据。

数据分析与洞察

通过对AcmeTrace数据集的深入分析,我们可以得出以下几个关键洞察:

1. 作业特征分析

从作业追踪数据中,我们可以观察到LLM开发过程中的一些典型特征:

作业规模分布: 大多数作业都是小规模的,可能是用于调试或小规模实验。但也存在一些超大规模作业,可能是用于模型训练或大规模推理。
资源需求模式: GPU需求呈现出明显的波动性,反映了LLM开发中不同阶段(如数据准备、模型训练、评估等)的资源需求差异。
作业持续时间: 作业持续时间分布广泛,从几分钟到几天不等,体现了LLM开发过程中任务的多样性。

2. 资源利用率分析

通过分析资源利用率数据,我们可以得出以下结论:

GPU利用率波动: GPU利用率呈现出明显的周期性波动,可能与日间和夜间工作模式有关。
CPU与GPU协同: 在某些时期,CPU利用率与GPU利用率呈现出一定的相关性,反映了某些LLM任务对CPU和GPU的协同需求。
内存使用模式: 内存使用率相对稳定,但在某些大规模作业执行期间会出现显著峰值。

资源利用率分析

AcmeTrace的应用价值

AcmeTrace数据集为研究人员和开发者提供了宝贵的资源,其应用价值主要体现在以下几个方面:

优化资源调度: 通过分析作业特征和资源利用模式,可以开发更智能的调度算法,提高集群资源利用效率。
能耗优化: 结合功耗数据和资源利用率数据,可以研究如何在保证性能的同时降低能耗,提高数据中心的绿色化水平。
预测模型开发: 基于历史数据,可以构建预测模型,用于预测未来的资源需求和作业完成时间,辅助资源规划和项目管理。
基准测试: AcmeTrace可以作为评估新的调度算法、资源管理策略或系统优化方案的基准数据集。
教育与培训: 这些真实世界的数据可以用于数据科学、机器学习和系统优化课程,帮助学生理解大规模AI系统的运行特征。

使用AcmeTrace数据集

研究人员和开发者可以通过以下步骤开始使用AcmeTrace数据集:

访问AcmeTrace GitHub仓库了解项目详情。
下载数据集:小型数据集可直接从GitHub下载,完整数据集(约80GB)可从HuggingFace获取。
使用提供的Jupyter Notebook(analysis.ipynb)开始数据分析。
参考README.md文件了解数据结构和字段说明。

结语

AcmeTrace项目为我们提供了一个难得的机会,让我们能够深入了解大型语言模型在现代数据中心中的开发过程和资源需求特征。通过这些数据,我们不仅可以优化当前的AI开发流程和资源管理策略,还可以为未来更高效、更绿色的AI基础设施设计提供重要参考。

随着AI技术的不断发展,类似AcmeTrace这样的开放数据集将在推动整个行业进步中扮演越来越重要的角色。我们期待看到更多研究者和开发者基于这些数据进行创新,共同推动AI技术的可持续发展。

欢迎访问AcmeTrace GitHub仓库了解更多信息,并参与到这个激动人心的开源项目中来。让我们一起探索AI发展的前沿,为构建更智能、更高效的数据中心贡献力量! 🚀🔬💡