MST 项目详细介绍
项目背景
MST (Multi-stage Spectral-wise Transformer)项目是一个专注于光谱压缩成像(SCI)重建的工具箱。光谱压缩成像技术用于将高光谱图像数据压缩成少量的测量值,从而减少传输和存储空间。随后,通过先进的算法进行重建,以恢复高精度的高光谱图像。MST项目实现了这一领域多种前沿算法,为相关研究提供了重要的技术支持。
项目成就
MST项目中的MST++算法在2022年NTIRE光谱重建挑战中获奖,表明了该项目在技术上的领先地位。此外,项目支持超过15种算法,包括学习基础和模型基础的方法。这些方法经过不断的迭代和优化,已在多个数据集上表现出色。
支持的算法
以下是项目中支持的部分算法:
- MST (CVPR 2022)
- CST (ECCV 2022)
- DAUHST (NeurIPS 2022)
- BiSRNet (NeurIPS 2023)
- HDNet (CVPR 2022)
- BIRNAT (TPAMI 2022)
- 以及其他多种前沿方法
这些算法已经经过精细的对比测试,在高光谱图像重建上取得了显著的提升。
定量比较
在模拟数据集上的实验结果显示,MST++和其他主流方法相比,在峰值信噪比(PSNR)和结构相似性指数(SSIM)方面具备强大的竞争力。最著名的是DAUHST-9stg算法,在诸如KAIST数据集的10个场景上,达到了PSNR 38.36和SSIM 0.967的出色表现。
项目最新进展
- 2024年04月09日:发布了经典模型基础方法的结果,便于研究者使用。
- 2024年03月21日:MST++和Retinexformer在NTIRE 2024低光增强挑战中名列前茅。
- 2023年12月02日:更新了实际实验的代码,欢迎使用。
- 2023年11月24日:发布了BiSRNet的代码、模型、及结果。
- 此外,项目在2023年期间持续更新,新增多个算法并提升模型库。
如何使用
要使用MST项目,用户需准备Python 3环境(推荐使用Anaconda),并安装NVIDIA GPU和CUDA。通过pip安装所需的Python包后,即可运行项目中的算法进行实验。
数据集准备
项目提供了灵活的数据集下载链接,用户可以方便地获取CAVE和KAIST等数据集进行测试。
总结
MST项目展示了在高光谱图像重建领域的创新和领导能力。通过支持多种高级算法和不断更新项目内容,MST为研究人员提供了一个强大且易于使用的平台,推动光谱成像技术的进步。任何对光谱成像感兴趣的研究人员都可以从中受益并贡献他们的研究。