#ICCV 2023
富文本到图像生成: 增强文本到图像生成的控制能力
Diffusion Classifier: 利用预训练扩散模型实现零样本分类
ICCV2023-Papers-with-Code
收录ICCV 2023大会接受的2160篇论文及开源代码，涵盖计算机视觉领域的多个前沿主题，包括Backbone、CLIP、GAN、NeRF、扩散模型、自监督学习、目标检测和医学图像处理，为研究和学习者提供一站式资源。
Retinexformer
Retinexformer是一个低光照图像增强项目，支持超过15个基准测试和超高分辨率图像（最高4000x6000）。该项目在NTIRE 2024挑战中获得第二名，提供代码、预训练模型和训练日志。Retinexformer框架支持分布式数据并行和混合精度训练，自适应分割测试策略显著提升模型性能。
superpoint_transformer
Superpoint Transformer 是一种超点 transformer 架构，适用于大规模 3D 场景的语义分割。通过自注意机制和层次化超点结构，它能多尺度挖掘超点间关系，性能卓越。同时，SuperCluster 将全景分割任务转化为超点图聚类任务，能在单个 GPU 上处理大规模场景。项目亮点包括显著的SOTA表现、快速训练和预处理等。点击查看更多详情及项目更新。
SparseBEV
SparseBEV利用多摄像头视频实现高性能稀疏3D目标检测，得到ICCV 2023的认可，并提供PyTorch实现、训练和评估指南。新发布的SparseOcc展示了全稀疏架构支持多种预训练权重和配置文件。用户可使用提供的代码进行可视化和模型优化，实现高效3D检测。兼容不同版本的PyTorch和CUDA，表现卓越。
TF-ICON
TF-ICON是一个利用Text-driven Diffusion模型实现跨域图像无训练组合的框架。相比需要实例化优化或微调预训练模型的方法，TF-ICON无需额外训练或优化，就可无缝集成用户提供的对象，还使用了特别提示来帮助模型准确还原真实图像。实验表明，该方法在多个数据集（如CelebA-HQ、COCO和ImageNet）上的表现优于现有技术。
diffusion-classifier
本项目展示了如何利用大型文本图像生成模型如Stable Diffusion进行零样本分类，无需额外训练。该生成分类方法在多项基准测试中表现优越，超过其他扩散模型的知识提取方法。通过从ImageNet的类条件扩散模型中提取标准分类器，该模型即使在仅使用弱增强的情况下也表现出强大的分类性能和分布转移的稳健性。本研究推进了生成模型在下游任务中的应用，是对多模态组合推理能力的重要探索。
LightGlue
LightGlue是一个轻量级且高精度的图像特征匹配工具，特别适用于图像对的稀疏局部特征匹配。其自适应机制在处理简单图像对时能有效节省时间，处理复杂图像对时降低计算复杂度。支持SuperPoint、DISK、ALIKED和SIFT等预训练特征，并提供训练与评估代码。用户可通过pip轻松安装，并通过演示笔记本快速体验。此工具同样具有FlashAttention、混合精度推理等高级配置选项，在GPU和CPU上均表现出显著性能提升。
Make-It-3D
Make-It-3D项目利用训练良好的2D扩散模型，从单个图像生成高质量3D内容。方法采用两阶段优化流程，先优化神经辐射场整合正视图和新视角的扩散先验，后将粗略模型转化为纹理点云并提升现实感。实验显示，该方法在视觉质量和重建准确性上大幅领先，并支持文本到3D创建和纹理编辑等应用。
ProPainter
ProPainter是一个开源的视频修复项目,通过改进传播和变换器技术提高修复质量。它支持对象移除和视频补全,可处理高分辨率视频,并提供内存高效的推理。该项目开放了源代码和预训练模型,还提供在线演示。ProPainter在视频修复领域取得了显著进展,为相关研究和应用提供了有力支持。