#ICCV 2023

收录ICCV 2023大会接受的2160篇论文及开源代码，涵盖计算机视觉领域的多个前沿主题，包括Backbone、CLIP、GAN、NeRF、扩散模型、自监督学习、目标检测和医学图像处理，为研究和学习者提供一站式资源。

Retinexformer是一个低光照图像增强项目，支持超过15个基准测试和超高分辨率图像（最高4000x6000）。该项目在NTIRE 2024挑战中获得第二名，提供代码、预训练模型和训练日志。Retinexformer框架支持分布式数据并行和混合精度训练，自适应分割测试策略显著提升模型性能。

Superpoint Transformer 是一种超点 transformer 架构，适用于大规模 3D 场景的语义分割。通过自注意机制和层次化超点结构，它能多尺度挖掘超点间关系，性能卓越。同时，SuperCluster 将全景分割任务转化为超点图聚类任务，能在单个 GPU 上处理大规模场景。项目亮点包括显著的SOTA表现、快速训练和预处理等。点击查看更多详情及项目更新。

SparseBEV利用多摄像头视频实现高性能稀疏3D目标检测，得到ICCV 2023的认可，并提供PyTorch实现、训练和评估指南。新发布的SparseOcc展示了全稀疏架构支持多种预训练权重和配置文件。用户可使用提供的代码进行可视化和模型优化，实现高效3D检测。兼容不同版本的PyTorch和CUDA，表现卓越。

TF-ICON是一个利用Text-driven Diffusion模型实现跨域图像无训练组合的框架。相比需要实例化优化或微调预训练模型的方法，TF-ICON无需额外训练或优化，就可无缝集成用户提供的对象，还使用了特别提示来帮助模型准确还原真实图像。实验表明，该方法在多个数据集（如CelebA-HQ、COCO和ImageNet）上的表现优于现有技术。

本项目展示了如何利用大型文本图像生成模型如Stable Diffusion进行零样本分类，无需额外训练。该生成分类方法在多项基准测试中表现优越，超过其他扩散模型的知识提取方法。通过从ImageNet的类条件扩散模型中提取标准分类器，该模型即使在仅使用弱增强的情况下也表现出强大的分类性能和分布转移的稳健性。本研究推进了生成模型在下游任务中的应用，是对多模态组合推理能力的重要探索。

LightGlue是一个轻量级且高精度的图像特征匹配工具，特别适用于图像对的稀疏局部特征匹配。其自适应机制在处理简单图像对时能有效节省时间，处理复杂图像对时降低计算复杂度。支持SuperPoint、DISK、ALIKED和SIFT等预训练特征，并提供训练与评估代码。用户可通过pip轻松安装，并通过演示笔记本快速体验。此工具同样具有FlashAttention、混合精度推理等高级配置选项，在GPU和CPU上均表现出显著性能提升。

Make-It-3D项目利用训练良好的2D扩散模型，从单个图像生成高质量3D内容。方法采用两阶段优化流程，先优化神经辐射场整合正视图和新视角的扩散先验，后将粗略模型转化为纹理点云并提升现实感。实验显示，该方法在视觉质量和重建准确性上大幅领先，并支持文本到3D创建和纹理编辑等应用。

ProPainter是一个开源的视频修复项目,通过改进传播和变换器技术提高修复质量。它支持对象移除和视频补全,可处理高分辨率视频,并提供内存高效的推理。该项目开放了源代码和预训练模型,还提供在线演示。ProPainter在视频修复领域取得了显著进展,为相关研究和应用提供了有力支持。

Total-Recon是一种可变形场景重建系统,能从RGBD传感器拍摄的长视频中重建场景几何、外观和物体运动。该系统支持从新视角渲染场景,包括第一人称和第三人称跟随视角,并提供3D视频滤镜功能。这项技术为沉浸式视角合成和增强现实应用提供了基础支持。

Rich-Text-to-Image项目利用富文本格式信息增强文本到图像生成的控制能力。该项目通过字体大小、颜色、样式和脚注等格式实现精确的颜色渲染、局部风格控制和详细区域合成。这种方法支持token显式重新加权，可与Stable Diffusion等主流模型集成，提供更精细的图像生成控制。项目开源了代码实现，并提供在线演示和相关论文，为文本到图像生成领域开辟了新的研究方向。

Imitator是一个3D面部动画生成系统，能将个人语音转化为逼真的面部表情。该项目基于深度学习技术，实现了语音到面部动作的精确映射。Imitator提供通用模型和个性化训练方法，可适应不同说话者的特征。这项技术可应用于虚拟现实、电影制作和人机交互等领域。