Project Icon

Segment-Any-Anomaly

基于混合提示正则化的零样本异常分割方法

Segment-Any-Anomaly项目提出了一种基于混合提示正则化的零样本异常分割方法。该方法通过适配Grounding DINO和Segment Anything等基础模型,实现了对多种异常检测数据集的高效分割。项目在MVTec-AD、VisA等公开数据集上展现出优秀性能,并在VAND工作坊竞赛中取得佳绩。仓库包含完整代码实现、演示和使用说明,便于研究者复现和应用。

分割任意异常

在Colab中打开 HuggingFace空间

这个仓库包含了通过混合提示正则化实现无需训练的任意异常分割,SAA+的官方实现。

SAA+旨在无需训练即可分割任意异常。我们通过混合提示正则化来适配现有的基础模型,即Grounding DINOSegment Anything,来实现这一目标。

:fire:最新动态

:gem:框架

我们发现,简单组合基础模型会导致严重的语言歧义。因此,我们引入了源自领域专家知识和目标图像上下文的混合提示,以缓解语言歧义。框架如下图所示:

框架

快速开始

:bank:数据集准备

我们在四个公开数据集上评估SAA+:MVTec-AD、VisA、KSDD2和MTD。此外,SAA+是VAND研讨会的获胜团队之一,该研讨会提供了一个特定的数据集VisA-Challenge。要准备数据集,请按照以下说明操作:

默认情况下,我们将数据保存在../datasets目录中。

cd $ProjectRoot # 例如,/home/SAA
cd ..
mkdir datasets
cd datasets

然后,按照相应的说明准备各个数据集:

:hammer:环境设置

您可以使用我们的脚本一键设置环境并下载检查点。

cd $ProjectRoot
bash install.sh

:page_facing_up:复现公开结果

MVTec-AD

python run_MVTec.py

VisA-Public

python run_VisA_public.py

VisA-Challenge

python run_VAND_workshop.py

提交文件可在./result_VAND_workshop/visa_challenge-k-0/0shot中找到。

KSDD2

python run_KSDD2.py

MTD

python run_MTD.py

:page_facing_up:演示结果

运行以下命令获取演示结果

python demo.py

演示

:dart:性能

结果 定性结果

:hammer: 待办事项

我们计划在近期添加以下功能:

  • 更新SAA+的仓库
  • 详细说明零样本异常检测框架
  • 在其他图像异常检测数据集上进行评估
  • 添加UI以便于评估
  • 更新Colab演示
  • HuggingFace演示

💘 致谢

我们的工作在很大程度上受到以下项目的启发。感谢他们令人钦佩的贡献。

随时间变化的Star数

随时间变化的Star数

引用

如果您发现这个项目对您的研究有帮助,请考虑引用以下BibTeX条目。


@article{cao_segment_2023,
	title = {Segment Any Anomaly without Training via Hybrid Prompt Regularization},
	url = {http://arxiv.org/abs/2305.10724},
	number = {{arXiv}:2305.10724},
	publisher = {{arXiv}},
	author = {Cao, Yunkang and Xu, Xiaohao and Sun, Chen and Cheng, Yuqi and Du, Zongwei and Gao, Liang and Shen, Weiming},
	urldate = {2023-05-19},
	date = {2023-05-18},
	langid = {english},
	eprinttype = {arxiv},
	eprint = {2305.10724 [cs]},
	keywords = {Computer Science - Computer Vision and Pattern Recognition, Computer Science - Artificial Intelligence},
}

@article{kirillov2023segany,
  title={Segment Anything}, 
  author={Kirillov, Alexander and Mintun, Eric and Ravi, Nikhila and Mao, Hanzi and Rolland, Chloe and Gustafson, Laura and Xiao, Tete and Whitehead, Spencer and Berg, Alexander C. and Lo, Wan-Yen and Doll{\'a}r, Piotr and Girshick, Ross},
  journal={arXiv:2304.02643},
  year={2023}
}

@inproceedings{ShilongLiu2023GroundingDM,
  title={Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection},
  author={Shilong Liu and Zhaoyang Zeng and Tianhe Ren and Feng Li and Hao Zhang and Jie Yang and Chunyuan Li and Jianwei Yang and Hang Su and Jun Zhu and Lei Zhang},
  year={2023}
}
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能,包括文生视频、动态画面和形象生成等,帮助用户快速上手,创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台,用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品,帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型,为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能,满足事务性工作的高频需求,帮助撰稿人节省精力,提高效率,优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号