#模型扩展

PiPPy

PiPPy是一个为PyTorch模型提供自动化管道并行功能的开源工具。它通过自动拆分模型代码和处理复杂拓扑结构，简化了管道并行的实现过程。PiPPy支持跨主机并行、与其他并行方案结合，以及多种调度策略。该工具能够帮助研究人员和开发者在不大幅修改原有代码的情况下，实现PyTorch模型的高效扩展。

scaling_on_scales

S²-Wrapper是一种为视觉模型实现多尺度特征提取的机制。项目提供PyTorch实现,探讨图像尺度缩放与模型规模缩放的效果对比。S²-Wrapper已集成到LLaVA和NVIDIA VILA等多模态模型中,提升了多项视觉任务性能。项目包含使用指南和示例,便于研究人员和开发者应用。