#torch.compile
HQQ量化学习资料汇总 - 快速准确的大模型量化工具
2 个月前
HQQ: 快速高效的大型机器学习模型量化方法
3 个月前
相关项目
hqq
HQQ是一种无需校准数据即可快速精确量化大模型的工具，支持从8bit到1bit的多种量化模式。兼容LLMs和视觉模型，并与多种优化的CUDA和Triton内核兼容，同时支持PEFT训练和Pytorch编译，提升推理和训练速度。详细基准测试和使用指南请访问官方博客。
depyf
depyf是一个开源工具，专注于解析PyTorch编译器torch.compile的内部工作机制。这个工具支持多个Python版本，提供简洁的API接口，能够生成详细的编译过程文档，并支持代码调试。通过depyf，机器学习研究人员和开发者可以深入理解编译过程，适应编译机制，并优化代码以提升性能。作为PyTorch生态系统的一员，depyf为用户提供了深入了解PyTorch编译器的机会。