Project Icon

SOLO

无框的实例分割算法,可直接输出实例掩码和类别概率,并具备高质量掩码预测和顶级性能

SOLO项目实现了SOLO和SOLOv2两种完全无框的实例分割算法,可直接输出实例掩码和类别概率,并具备高质量掩码预测和顶级性能。该项目基于mmdetection,支持多GPU和单GPU训练,并提供多种预训练模型下载,包括轻量级模型。对于研究人员来说,这些工具显著提高了分割精度和训练速度,适用于各种应用场景。

SOLO: 基于位置的目标分割

本项目包含实现SOLO算法进行实例分割的代码。

SOLO: 基于位置的目标分割
王鑫龙, 孔涛, 沈春华, 蒋宇宁, 李磊
会议: 欧洲计算机视觉会议 (ECCV), 2020
arXiv 预印本 (arXiv 1912.04488)

SOLOv2: 动态且快速的实例分割
王鑫龙, 张汝峰, 孔涛, 李磊, 沈春华
会议: 神经信息处理系统进展 (NeurIPS), 2020
arXiv 预印本 (arXiv 2003.10152)

亮点

亮点

  • 完全无框: SOLO完全无框,不受(锚框)位置和尺度的限制,自然受益于FCN的内在优势。
  • 直接实例分割: 我们的方法以图像作为输入,直接输出实例掩码及其对应的类别概率,采用完全卷积、无框、无分组的范式。
  • 高质量掩码预测: SOLOv2能够预测细致的掩码,特别是在目标边界处。
  • 最先进的性能: 我们基于ResNet-101和可变形卷积的最佳单模型在COCO测试开发集上获得了41.7%的AP(未进行多尺度测试)。SOLOv2的轻量级版本在单个V100 GPU上以31.3 FPS的速度运行,获得了**37.1%**的AP。

更新

  • 基于detectron2实现的SOLOv2已发布在adet。(2020年12月7日)
  • 所有模型的训练速度加快了(约快1.7倍)。(2020年12月3日)
  • SOLOv2现已发布。SOLOv2的代码和训练模型已发布。(2020年7月8日)
  • 轻量级模型和基于R101的模型现已发布。(2020年3月31日)
  • SOLOv1现已发布。SOLO和Decoupled SOLO的代码和训练模型已发布。(2020年3月28日)

安装

此实现基于mmdetection(v1.0.0)。请参阅INSTALL.md进行安装和数据集准备。

模型

为方便起见,我们提供了以下基于COCO训练的模型(更多模型即将发布)。 如果您需要PaddlePaddle框架下的模型,请参阅paddlepaddle/README.md

模型多尺度训练测试时间 / 图像AP (minival)链接
SOLO_R50_1x77ms32.9下载
SOLO_R50_3x77ms35.8下载
SOLO_R101_3x86ms37.1下载
Decoupled_SOLO_R50_1x85ms33.9下载
Decoupled_SOLO_R50_3x85ms36.4下载
Decoupled_SOLO_R101_3x92ms37.9下载
SOLOv2_R50_1x54ms34.8下载
SOLOv2_R50_3x54ms37.5下载
SOLOv2_R101_3x66ms39.1下载
SOLOv2_R101_DCN_3x97ms41.4下载
SOLOv2_X101_DCN_3x169ms42.4下载

轻量级模型:

模型多尺度训练测试时间 / 图像AP (minival)链接
Decoupled_SOLO_Light_R50_3x29ms33.0下载
Decoupled_SOLO_Light_DCN_R50_3x36ms35.0下载
SOLOv2_Light_448_R18_3x19ms29.6下载
SOLOv2_Light_448_R34_3x20ms32.0下载
SOLOv2_Light_448_R50_3x24ms33.7下载
SOLOv2_Light_512_DCN_R50_3x34ms36.4下载

免责声明:

  • 轻量级表示轻量级的主干网络、头部和较小的输入尺寸。详情请参阅相应的配置文件。
  • 这是重新实现的版本,结果与我们原始论文略有不同(在掩码AP上差异在0.3%以内)。

使用

快速演示

安装完成后,您可以下载提供的模型并使用inference_demo.py运行快速演示。

使用多GPU训练

./tools/dist_train.sh ${CONFIG_FILE} ${GPU_NUM}

示例: 
./tools/dist_train.sh configs/solo/solo_r50_fpn_8gpu_1x.py  8

使用单GPU训练

python tools/train.py ${CONFIG_FILE}
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号