#计算机视觉

sssegmentation是基于PyTorch的开源语义分割工具箱，提供高性能、模块化设计和统一基准测试。它集成多种流行分割框架，支持各类backbone网络和分割器模型，包括SAM、MobileSAM等最新技术。该项目为语义分割研究和应用开发提供灵活易用的平台。

Marigold项目开发了一种基于扩散模型的单目深度估计方法。该方法利用Stable Diffusion中的视觉知识，通过合成数据微调，实现了对未见数据的零样本迁移。Marigold不仅提供了高精度的深度估计结果，还包含快速推理版本，为计算机视觉领域提供了新的研究方向。

EFG是一个高效、灵活且通用的深度学习框架，采用最小化设计。该框架支持2D和3D目标检测、全景分割等多种计算机视觉任务，并在Waymo和nuScenes等数据集上展现优异性能。EFG集成了多个最新研究成果，如TrajectoryFormer和ConQueR，为3D目标检测和跟踪领域提供创新解决方案。研究人员可利用EFG的项目模板探索各种研究主题。

RayDiffusion项目提出了一种将相机表示为射线并应用扩散模型的姿态估计方法。该方法支持已知边界框和从掩码自动提取边界框两种模式，同时提供射线回归选项。项目包含代码实现、预训练模型和使用说明，适用于计算机视觉领域的研究和开发。

VMamba是一种创新的视觉骨干网络，将Mamba状态空间语言模型应用于计算机视觉。其核心是视觉状态空间块堆栈，结合2D选择性扫描模块，实现线性时间复杂度。VMamba在图像分类、目标检测和语义分割等多项视觉任务中表现出色，特别是在输入尺度扩展效率方面优于现有模型。项目提供多种规模的预训练模型，适用于各类视觉感知任务。

CLIP-ReID提出了一种无需具体文本标签的图像重识别新方法。该方法基于CLIP视觉-语言模型,结合CNN和ViT架构,并运用SIE和OLP等技术进行优化。在MSMT17等多个基准数据集上,CLIP-ReID展现了领先的性能,为图像重识别领域开辟了新的研究方向。

Awesome_Mamba项目汇集了Mamba状态空间模型在多个领域的应用资源，包括医学图像分析、远程感应、语音和视频处理等。该项目提供最新研究论文和GitHub代码仓库链接，涵盖架构重设计、创新应用等内容。项目持续更新，为研究人员和开发者提供Mamba模型在各领域最新进展的综合参考。

PointTransformerV3是一个创新的点云处理框架，在多个基准测试中展现出卓越性能。该项目优化了模型结构，提升了运行速度和处理能力。它适用于室内外场景的语义分割，通过多数据集预训练进一步增强了效果。研究人员可利用开源代码和预训练模型轻松复现结果或应用于自身项目。

RSN项目提出Residual Steps Network姿态估计方法,通过聚合同一空间尺度特征获得精细局部表示,实现精确关键点定位。项目引入Pose Refine Machine注意力机制进一步优化关键点位置。RSN在COCO和MPII基准测试中取得领先结果,并在2019年COCO关键点挑战赛中获得第一名和最佳论文奖。该方法在多人姿态估计任务中展现出优异性能。

DiffMorpher是一项基于扩散模型的图像变形技术。该项目结合AdaIN和重新调度采样方法，实现高质量、连续的图像变形。DiffMorpher不仅适用于人脸，还能处理各种一般物体的变形，拓展了图像编辑的应用范围。项目同时推出MorphBench，作为评估一般物体图像变形效果的首个基准数据集。

该项目汇总了CVPR 2024会议的重要论文、挑战赛和教程。涵盖计算机视觉领域多个前沿方向,包括视觉变换器、视觉语言模型和3D重建等。为研究人员和从业者提供了解计算机视觉最新进展的全面资源,展现了该领域的创新趋势和突破性成果。

PASD是一个基于像素感知稳定扩散模型的开源项目，专注于图像超分辨率和风格化处理。该技术能将低分辨率图像转换为高质量的高分辨率版本，同时支持老照片修复、图像上色和风格转换等多种任务。PASD的核心优势在于其像素级的感知能力，可以在各种复杂的图像处理过程中保持细节的完整性。

Segment-Any-Anomaly项目提出了一种基于混合提示正则化的零样本异常分割方法。该方法通过适配Grounding DINO和Segment Anything等基础模型，实现了对多种异常检测数据集的高效分割。项目在MVTec-AD、VisA等公开数据集上展现出优秀性能，并在VAND工作坊竞赛中取得佳绩。仓库包含完整代码实现、演示和使用说明，便于研究者复现和应用。

Big Vision是一个用于训练大规模视觉模型的开源代码库。它基于Jax/Flax构建，支持在Cloud TPU VM和GPU上运行。该项目采用tf.data和TensorFlow Datasets实现高效的数据处理，可无缝扩展至2048个TPU核心的分布式环境。Big Vision涵盖了视觉Transformer、多模态学习、知识蒸馏等多个研究方向，为大规模视觉实验提供了可靠的基础。

FastSAM是一款基于CNN的高效全景分割模型。仅使用SAM数据集2%的数据，就实现了与SAM相当的性能，同时运行速度提升50倍。支持一切模式、文本提示、框选和点选等多种交互方式。在边缘检测、目标检测等下游任务中，FastSAM展现出优异的零样本迁移能力，为计算机视觉研究开辟新方向。

Vision-RWKV是一种基于RWKV架构的视觉感知模型。该模型可高效处理高分辨率图像，具有全局感受野，并通过大规模数据集预训练实现良好扩展性。在图像分类任务中，Vision-RWKV性能超越ViT模型；在密集预测任务中，它以更低计算量和更快速度胜过基于窗口的ViT，并与全局注意力ViT相当。Vision-RWKV展现出成为多种视觉任务中ViT替代方案的潜力。

MMDetection3D是OpenMMLab项目开发的开源3D目标检测框架，基于PyTorch构建。它支持多模态和单模态检测器，适用于室内外3D检测数据集，可与2D检测无缝集成。该框架提供300多种预训练模型、40多种算法实现，以及MMDetection全部功能模块。MMDetection3D不仅可用于研究，还可作为库支持各类3D检测应用开发。

本列表汇总了扩散模型与Transformer架构结合的最新研究进展，涵盖图像、视频、语音和3D等多个领域。每个项目均包含发表时间、会议信息、任务类型和资源链接。列表持续更新，为研究者和开发者提供便捷途径跟踪这一快速发展的领域动态。

MMCV是一个开源的计算机视觉基础库，提供图像和视频处理、数据转换、CNN架构等功能。支持多平台，包括Linux、Windows和macOS。库中包含高质量的CPU和CUDA操作实现，并提供完整版和精简版两种安装选项。MMCV需要Python 3.7+环境，与PyTorch深度学习框架兼容。

Depth-Anything-V2是单目深度估计领域的新进展。该模型在细节表现和鲁棒性上显著优于V1版本，并在推理速度、参数量和深度精度方面超越了基于SD的模型。项目提供四种预训练模型，适用于相对和度量深度估计，可处理图像和视频。此外，发布的DA-2K基准为深度估计研究设立了新标准。

Neuralangelo是一个开源项目，专注于从图像重建高精度3D表面模型。该项目利用深度学习方法，提供了完整的代码实现，包括数据预处理、模型训练和网格提取功能。Neuralangelo在复杂场景重建中表现优异，适用于计算机视觉和图形学研究。项目文档包含详细使用说明和常见问题解答，便于研究人员快速上手。

1d-tokenizer项目开发了创新的1D图像分词框架，将256×256图像压缩至32个离散标记。该技术突破2D分词限制，提供更灵活紧凑的图像表示。相比扩散模型，生成速度提升数百倍，同时维持高质量输出。研究还深入探讨1D图像分词特性，为图像处理领域开辟新方向。

DETR项目运用Transformer架构创新性地改进了目标检测方法。该方法将传统的复杂流程转化为直接的集合预测问题，在COCO数据集上达到42 AP的性能表现，同时计算资源消耗减半。DETR结合全局损失函数与编码器-解码器结构，实现了图像的高效并行处理，大幅提升了目标检测的速度和准确性。项目开源了简洁的实现代码和预训练模型，便于研究人员进行深入探索和实际应用。

DINOv2是一种先进的无监督视觉特征学习方法,在1.42亿张未标注图像上预训练后生成高性能、鲁棒的通用视觉特征。这些特征可直接应用于多种计算机视觉任务,仅需简单线性分类器即可实现优异效果。DINOv2提供多种预训练模型,包括带寄存器的变体,在ImageNet等基准测试中表现卓越。

audio2photoreal项目实现了音频到逼真人物对话视频的自动转换。该开源项目集成了面部表情和全身动作生成模型,能根据音频输入合成自然的人物表情和动作。项目提供预训练模型、训练代码和数据集,便于研究者复现和改进。这一技术为虚拟人物制作和视频合成领域开辟了新的可能性。

4DGaussians是一种用于实时渲染动态场景的新技术。该方法使用4D高斯函数对动态场景进行建模,具有快速收敛和实时渲染的特点。项目支持合成场景、真实动态场景和多视角场景等多种数据集,并提供完整的训练、渲染和评估流程。4DGaussians在动态场景重建和渲染方面的进展,为计算机视觉和图形学领域开辟了新的研究方向。

SAM 2是Meta AI研发的图像和视频分割基础模型,扩展了SAM的功能。它采用transformer架构和流式内存,实现实时视频处理。通过模型循环数据引擎,研究团队构建了大规模视频分割数据集SA-V。SAM 2在多种视觉任务中展现出卓越性能,为计算机视觉领域带来新的可能。

GLEE是一个通用对象基础模型，在超过1000万张来自多个数据集的图像上进行联合训练。该模型能同时处理多种以对象为中心的视觉任务，并在多个基准测试中保持领先性能。GLEE具有出色的通用性和零样本迁移能力，可作为增强其他架构或模型的基础组件。这项研究被CVPR2024接受为亮点论文，研究团队计划开源相关代码和预训练模型。

这是一个全面的草图应用资源集合，涵盖图像合成、编辑、检索和3D建模等多个领域。项目汇总了大量相关研究论文和代码，包括自动合成、风格迁移和文本引导等最新技术。该资源为研究人员和开发者提供了探索草图应用前沿技术的重要参考。

Seal是一种自监督学习框架,通过利用视觉基础模型的知识来分割多样化的点云序列。该框架在表示学习阶段强调空间和时间一致性,实现了高效的跨模态知识迁移。Seal无需依赖2D或3D标注,直接从视觉模型中提取知识,展现出优秀的可扩展性、一致性和泛化能力。它可应用于各类点云数据集,包括真实与合成、高低分辨率、大小规模以及干净和受损数据。

Practical-RIFE是基于RIFE和SAFA的开源视频处理框架，主要用于视频插帧和增强。该项目为开发者提供多种功能和新模型，支持2倍和4倍插帧，可处理高分辨率视频。最新的v4.22模型在动画场景处理方面有显著提升。此外，Practical-RIFE还包含视频增强功能，能有效提升视频质量。项目提供多种参数选项，适用于不同的视频处理需求。

TalkingGaussian项目展示了一种新型3D会说话头像合成技术，基于高斯散射方法实现结构持久性。该项目包含完整的处理流程，涵盖视频预处理、音频特征提取和模型训练。系统支持目标音频推理，生成结构稳定且口型同步的逼真说话头像。项目提供了详细的安装指南、数据准备步骤和使用说明，便于研究人员进行实验和开发。

SyncTalk项目通过三平面哈希表示法实现高度同步的说话头像视频合成。该技术生成同步的唇部运动、面部表情和稳定的头部姿势，同时还原发型细节，创造高分辨率视频。在保持人物身份的同时，项目显著提升了说话头像的自然度和真实感。

GauStudio作为3D高斯散射(3DGS)领域的模块化框架，整合了全面数据集、网格提取工具和纹理绑定功能。该框架支持多种3DGS方法研究，优化复杂场景处理流程，并为室内外场景重建提供新方案。GauStudio旨在促进3DGS技术在多领域的应用与创新。

VGGSfM是一种结合视觉几何原理和深度学习的结构运动恢复(SfM)技术。该开源项目提供Python包，支持3D重建、相机姿态估计和稠密深度图生成。VGGSfM在CVPR24 IMC挑战赛相机姿态估计中获得第一名。它支持多种特征点提取方法，并提供灵活的可视化选项，方便研究人员和开发者进行3D重建实验和应用开发。

fastai是一个深度学习库，提供高层组件以快速实现高性能结果，同时为研究人员提供可组合的低层组件。通过分层架构和Python、PyTorch的灵活性，fastai在不牺牲易用性、灵活性和性能的情况下，实现了高效的深度学习。支持多种安装方式，包括Google Colab和conda，适用于Windows和Linux。学习资源丰富，包括书籍、免费课程和详细文档。