InternEvo
InternEvo是一个轻量级开源训练框架,支持大规模预训练和单GPU微调。该框架在1024个GPU上达到近90%加速效率,适用于InternLM系列等大语言模型训练。通过集成高性能算子和Hybrid Zero技术,InternEvo优化了计算与通信效率,显著提升了训练性能。