Smol Vision 🐣
缩小、优化和定制前沿视觉模型的方法。
笔记本 | 描述 | |
---|---|---|
量化/ONNX | 使用Optimum实现更快更小的零样本目标检测 | 使用Optimum ONNXRuntime工具量化最先进的零样本目标检测模型OWLv2。 |
视觉语言模型微调 | 微调PaliGemma | 使用transformers微调最先进的视觉语言骨干网络PaliGemma。 |
Optimum/ORT入门 | 使用🤗 Optimum优化DETR | 将视觉模型导出为ONNX并对其进行量化的简单介绍。 |
模型压缩 | 计算机视觉的知识蒸馏 | 图像分类的知识蒸馏。 |
量化 | 使用Quanto适配视觉模型 | 使用quanto将视觉模型适配到更小的硬件上 |
加速 | 使用torch.compile加速基础模型 | 使用torch.compile 改善基础模型的延迟 |
加速/内存优化 | 使用TGI部署视觉语言模型(即将推出) | 探索使用文本生成推理进行视觉语言模型部署的加速和内存改进 |
量化/Optimum/ORT | 使用Optimum对图像分割进行全方位的量化和图优化(即将推出) | 使用Optimum进行端到端的模型优化 |
视觉语言模型微调 | 微调Florence-2 | 在DocVQA数据集上微调Florence-2 |
在视觉问答任务上微调IDEFICS3 | 在VQAv2上使用QLoRA微调IDEFICS3 | 在VQAv2数据集上使用QLoRA微调IDEFICS3 |