#GPU内存

glake

GLake优化了GPU内存管理和IO传输，解决了AI大模型训练和推理中的内存和传输瓶颈。通过GPU虚拟和物理内存管理及多GPU、多路径和多任务优化，提高了硬件资源利用率，最高可将训练吞吐量提高4倍，推理内存降低3倍，IO传输加速3至12倍。GLake易于集成，无需代码修改，且提供内存优化、多路径IO传输提升、和数据去重等功能，为AI训练与推理提供高效、安全的解决方案。

NVLM-D-72B-nf4

NVLM-D-72B模型NF4量化转换项目利用BitsAndBytes技术实现双重量化，旨在优化性能。目前纯文本处理表现出色，但图像处理功能仍需完善。项目优化了modeling_intern_vit.py文件，提高了量化模块兼容性。模型运行需48GB以上显存，遵循CC BY-NC 4.0许可。该项目为探索大型多模态模型量化提供了宝贵经验。